¿De qué trata Race After Technology?

Race After Technology: Abolitionist Tools for the New Jim Code, publicado por Polity en 2019, examina cómo las tecnologías pueden incorporar y reforzar desigualdades raciales. Ruha Benjamin cuestiona la idea de que una herramienta queda libre de esos problemas por funcionar con datos, reglas o automatización.

La presentación editorial relaciona aplicaciones cotidianas y sistemas algorítmicos con las estructuras sociales en las que se diseñan. La página de la autora ofrece información del libro y una guía de discusión. La edición aquí identificada está en inglés.

La guía de discusión enlazada por Benjamin propone examinar la relación entre las decisiones de diseño, la vigilancia y la desigualdad. También plantea preguntas sobre quién participa al desarrollar tecnologías y qué formas de responsabilidad podrían acompañarlas. Es una invitación a discutir consecuencias, además de intenciones.

¿Qué puede aportarte?

Me parece pertinente si en tu equipo se utilizan herramientas para clasificar personas, evaluar solicitudes o distribuir oportunidades. Te invita a mirar más allá de la interfaz: qué criterios se eligieron, de dónde vienen y qué consecuencias podrían tener para quienes reciben la decisión.

La pregunta que propongo conservar es sencilla: ¿qué hace que consideremos justa esta decisión, además de que la haya producido una herramienta?

Un criterio puede parecer pequeño… hasta que se vuelve un filtro

Piensa en esta situación hipotética: una organización quiere ordenar solicitudes y propone dar prioridad a ciertos antecedentes porque aparecen con frecuencia entre sus participantes anteriores. El equipo considera que así encontrará perfiles conocidos y facilitará la selección.

Este ejemplo es hipotético. No demuestra que un criterio concreto sea discriminatorio. Permite, eso sí, preguntar si los antecedentes históricos reflejan únicamente lo que la organización necesita o también las oportunidades desiguales que algunas personas tuvieron para conseguirlos.

Cuando conviertes un criterio en un filtro, puedes repetirlo de forma consistente. Esa consistencia no responde por sí sola a la pregunta de si el criterio es pertinente y justo. Me interesa detenerme ahí antes de celebrar la rapidez de un sistema.

3 preguntas para revisar el diseño

1. ¿Qué estamos utilizando como señal?

Te propongo nombrar la condición que se quiere evaluar y distinguirla del dato que se utiliza para aproximarse a ella. Un antecedente puede aportar información útil, aunque tal vez deje fuera formas distintas de demostrar la misma capacidad. Esa diferencia merece una conversación con las personas responsables del proceso.

2. ¿Quién participó al definirlo?

Revisa quién pudo explicar cómo le afectaría la herramienta. La experiencia de quienes reciben una decisión puede revelar obstáculos que el equipo de diseño no había considerado. Escuchar esas experiencias ayuda a formular preguntas y a detectar puntos que requieren una evaluación más cuidadosa.

3. ¿Cómo reconoceríamos un trato desigual?

Antes de implementar, aclara qué resultados se revisarán y quién responderá si aparece un problema. La evaluación necesita datos adecuados, protección de la privacidad y criterios definidos por profesionales competentes. Te conviene acordar ese trabajo de antemano, en vez de esperar a que una queja sea la primera señal.

La dignidad de la persona también está en el procedimiento

Desde mi Taxonomía IAConSentido, conecto estas preguntas con Seguridad, privacidad y dignidad. Me importa cómo se trata a una persona cuando una clasificación influye en sus oportunidades, qué puede conocer sobre el proceso y cómo puede solicitar que se revise una situación.

La dirección H → IA → H describe aquí un recorrido concreto: personas definen o adoptan criterios, una herramienta los procesa y el resultado vuelve a afectar a personas. También encuentro una conexión con Decisiones, organizaciones y sociedad, porque la organización conserva responsabilidades sobre el uso que decide hacer del sistema. Este encuadre es mi aplicación del marco IAConSentido.

Qué conviene distinguir antes de sacar conclusiones

El libro se sitúa en una discusión sobre desigualdad racial y tecnología con un fuerte contexto estadounidense. Trasladar sus preguntas a otro país requiere comprender las desigualdades, las instituciones y las reglas del lugar. Una similitud entre situaciones puede orientar una investigación, pero no demostrar por sí sola que sus causas sean las mismas.

Tampoco basta con observar una diferencia en resultados para explicar todo el proceso. Hay que examinar datos, criterios y condiciones de uso. Me interesa que esa cautela vaya acompañada de una revisión real, especialmente cuando una decisión puede cerrar una oportunidad.

Mi propuesta desde el Método SENSE

Conecto este tema con S · Seguridad Humana del Método SENSE. La práctica que te propongo consiste en hacer visible una decisión de diseño antes de incorporarla a una herramienta.

Pregunta para ti: ¿qué experiencia humana estamos dejando fuera cuando convertimos esta situación en una categoría?

Un paso concreto: toma un criterio de un proceso que conozcas y escribe qué intenta valorar, qué dato utiliza y qué explicación recibiría una persona afectada. Si no puedes completar alguna parte, ya tienes una pregunta para llevar al equipo. No introduzcas información personal real en una IA para realizar este ejercicio.

Preguntas frecuentes