Hoy hablamos de: La automatización de la desigualdad, de Virginia Eubanks, y de las personas que pueden quedar fuera cuando una institución automatiza sus decisiones.
La automatización de la desigualdad: cuando una decisión digital deja a alguien fuera
Preguntas para revisar el acceso, la posibilidad de corregir errores y la responsabilidad detrás de una decisión automatizada.

La automatización de la desigualdad. Herramientas de tecnología avanzada para supervisar y castigar a los pobres
Virginia Eubanks · Capitán Swing · 2021 · Español
Traducción: Gemma Deza
ISBN: 9788412281866
Consultar la ficha oficial del libro
¿De qué trata La automatización de la desigualdad?
Virginia Eubanks investiga cómo la minería de datos, las decisiones automatizadas y los modelos predictivos afectan a personas pobres y de clase trabajadora en Estados Unidos. El libro examina cuestiones como el acceso a recursos, la vigilancia y las decisiones de los servicios públicos. La autora sitúa las consecuencias humanas en el centro de su investigación.
La traducción de Gemma Deza fue publicada por Capitán Swing en 2021. El enfoque permite mirar lo que ocurre después de que una institución decide utilizar datos para ordenar, evaluar o seleccionar a las personas. Puedes consultar la ficha de la edición española y la presentación del libro por Eubanks.
Decisiones, organizaciones y sociedad · Vínculos y sociedad
Dirección H ↔ IA → Org./Soc. · Pilar E · Ética Aplicada · Taxonomía IAConSentido
¿Qué puede aportarte este libro?
Lo considero especialmente pertinente si participas en decisiones que afectan el acceso de otras personas a servicios u oportunidades. Me interesa la pregunta que permite llevar a una organización: cuando un proceso automatizado se equivoca o deja fuera una situación, ¿quién puede escuchar a la persona y revisar lo ocurrido?
El formulario termina… pero la necesidad sigue ahí
Piensa en esta situación hipotética: solicitas un apoyo y el formulario exige un comprobante que no puedes obtener en el formato pedido. Intentas enviarlo de otra manera y la solicitud queda incompleta. La pantalla te explica qué falta, aunque ninguna de las opciones corresponde a tu situación.
Es un ejemplo hipotético, no un caso extraído del libro. Te lo propongo porque permite observar una decisión que a veces pasa inadvertida: alguien definió los documentos admitidos, las excepciones y lo que ocurre cuando una persona se sale de ese recorrido.
Podemos valorar la rapidez del trámite y, al mismo tiempo, revisar cuántas personas logran completarlo. Las 2 preguntas importan. Una mejora para quien administra el sistema puede convivir con una dificultad para quien necesita utilizarlo.
3 aspectos que revisaría antes de automatizar
1. Quién puede entrar al proceso
Te propongo recorrer el trámite desde situaciones distintas. ¿Qué necesita una persona para empezar? ¿Debe contar con un dispositivo, una conexión estable o documentos digitalizados? ¿Qué alternativa tiene cuando falta alguno? Estas preguntas ayudan a precisar las condiciones reales de acceso, sin asumir que todas las personas parten del mismo lugar.
2. Cómo se puede corregir un dato
Un dato incompleto puede acompañar a una persona durante varias etapas. Por eso me parece importante conocer dónde se revisa, quién puede modificarlo y cómo se comunica la corrección. También conviene distinguir un registro comprobado de una estimación del sistema. Presentarlos de la misma manera puede dificultar que alguien cuestione el resultado.
3. Quién tiene capacidad de intervenir
La existencia de un correo de contacto ayuda poco si quien responde solo puede repetir la decisión automática. Te conviene aclarar qué responsable puede revisar el caso, qué información necesita y cómo se informa el siguiente paso. La posibilidad de solicitar revisión debe corresponder a un procedimiento real.
Lo que cambia cuando miras a las personas
En mi Taxonomía IAConSentido, conecto estas preguntas con Decisiones, organizaciones y sociedad. Las personas eligen qué automatizar, qué datos utilizar y qué respuesta ofrecer. Las consecuencias alcanzan después a quienes solicitan un servicio. Esa es la relación que expreso con la dirección H ↔ IA → Org./Soc.
La familia Seguridad, privacidad y dignidad también resulta pertinente cuando se recopila información personal para evaluar una solicitud. Mi pregunta sería qué datos hacen falta para esa finalidad y qué ocurre si se utilizan para otra. Esta clasificación es mi forma de trabajar el problema desde IAConSentido.
El contexto importa
Eubanks investiga situaciones de Estados Unidos. Sus casos ofrecen preguntas para examinar otras instituciones, pero no describen automáticamente las condiciones de México ni las obligaciones de cada servicio. Tampoco toda automatización tiene el mismo propósito o el mismo efecto.
Al llevar esta reflexión a tu organización, necesitas revisar el procedimiento concreto, escuchar a quienes lo usan y comprobar sus resultados. Las reglas legales aplicables deben examinarse con el responsable adecuado. La comparación con el libro sirve para orientar preguntas, no para emitir una conclusión jurídica sobre un caso distinto.
Mi propuesta desde el Método SENSE
Conecto este tema con E · Ética Aplicada del Método SENSE. Me interesa que las responsabilidades estén claras antes de que una persona quede atrapada entre una pantalla y una respuesta que nadie puede revisar.
Pregunta para ti: ¿qué puede hacer una persona cuando nuestro proceso no contempla su situación?
Un paso concreto: elige un trámite y recórrelo con un caso ficticio que no encaje en todas las opciones. Anota dónde se detiene y quién podría intervenir. Después contrasta ese recorrido con el equipo responsable, sin introducir datos personales reales.
Preguntas frecuentes
¿El libro habla de asistentes como ChatGPT?
El foco verificado es la automatización y el uso predictivo de datos en decisiones institucionales. Su pertinencia actual está en las preguntas sobre acceso y responsabilidad, no en una evaluación de los asistentes generativos recientes.
¿Solo le sirve a quien trabaja en gobierno?
También puedes llevar estas preguntas a una escuela, una empresa o una organización social. La aplicación requiere conocer su contexto, especialmente cuando un sistema ordena solicitudes o condiciona oportunidades.
Fuentes consultadas
Para seguir explorando
¿Qué pregunta te gustaría llevar a tu próxima lectura? Puedes encontrar otros puntos de vista en mi selección de libros sobre riesgos humanos de la IA.
Sigamos esta conversación
En IAConSentido comparto cada sábado preguntas y recursos para convivir con la IA con criterio. También puedes empezar por el Semáforo de Riesgo Humano.


Comments
Pingback: Hola mundo, de Hannah Fry: algoritmos y decisiones humanas
Pingback: Race After Technology: tecnología y discriminación