Hoy hablamos de: The Alignment Problem, de Brian Christian. ¿Qué pasa cuando un sistema hace exactamente lo que le pediste… pero el resultado no es lo que necesitabas?
The Alignment Problem, de Brian Christian: cuando la IA cumple la métrica… pero no tu intención
Una presentación del libro de Brian Christian para distinguir lo que una IA optimiza de lo que las personas realmente necesitan.
The Alignment Problem: Machine Learning and Human Values
Brian Christian · 2020 · inglés
Consultar la ficha oficial del libro
¿De qué trata The Alignment Problem?
Brian Christian examina el problema de alinear sistemas de aprendizaje automático con objetivos y valores humanos. Su presentación oficial reúne cuestiones sobre sesgos, decisiones automatizadas y supuestos que las personas incorporamos a los modelos. El libro sigue también a investigadores que intentan responder a esos problemas, combinando historia del campo y reportaje.
Publicado en 2020, The Alignment Problem: Machine Learning and Human Values no se limita a una IA futura. Entre los ámbitos que presenta el autor aparecen selección de personal, decisiones judiciales y vehículos autónomos. El hilo común es la distancia entre el comportamiento de un sistema y lo que las personas esperan o consideran aceptable. Consulta la presentación oficial del libro.
Decisiones, organizaciones y sociedad · Vínculos y sociedad
Dirección H ↔ IA → Org./Soc. · Pilar E · Ética Aplicada · Taxonomía IAConSentido
La pregunta que me parece útil para tu equipo
Cuando una herramienta promete mejorar un resultado, te conviene preguntar qué está contando como mejora. Más respuestas no significa necesariamente mejor atención. Más solicitudes resueltas no significa que las personas hayan obtenido una solución. Y más rapidez puede coexistir con errores difíciles de corregir. Estas son preguntas que yo llevo al trabajo cotidiano a partir del problema que plantea el libro.
Imagina un equipo que utiliza un sistema para reducir el tiempo dedicado a consultas. El informe muestra una mejora porque las conversaciones son más cortas. Sin embargo, varias personas vuelven a escribir porque no entendieron la respuesta. Es una escena hipotética. El sistema podría estar cumpliendo el indicador elegido mientras el objetivo humano, resolver la duda, sigue pendiente.
No basta con pedirle que sea justo
A veces expresamos una intención importante con una palabra muy amplia: justicia, calidad, seguridad. En una decisión concreta necesitamos precisar qué queremos proteger, qué información consideramos y qué consecuencias no estamos dispuestos a aceptar. También necesitamos reconocer los desacuerdos. Personas distintas pueden tener necesidades legítimas que una sola cifra no represente.
Por eso, antes de discutir si una IA es buena o mala, prefiero preguntarte cómo se decidió utilizarla. ¿Quién definió el objetivo? ¿Quién se queda fuera de la evaluación? ¿Quién puede pedir que revisen una respuesta? No son detalles posteriores. Forman parte de la decisión de poner el sistema en funcionamiento.
3 pasos para revisar una decisión automatizada
1. Escribe el objetivo sin mencionar la tecnología
En lugar de empezar con «necesitamos una IA», describe qué quieres mejorar para las personas. Por ejemplo: que cada consulta reciba una respuesta comprensible y una vía para resolver lo que quede abierto. Después compara esa intención con el indicador que usarás. Si solo medirás velocidad, anota qué parte del objetivo no podrás observar con esa cifra.
2. Busca un caso que la métrica podría ocultar
Piensa en alguien con una situación poco frecuente, información incompleta o una necesidad de accesibilidad. ¿Tu evaluación permite ver qué le ocurre? No necesitas inventar una injusticia para plantear la pregunta. Necesitas comprobar si los datos y las pruebas incluyen situaciones relevantes, y reconocer lo que todavía no sabes. Una media favorable no responde por cada caso.
3. Define cómo se revisa un resultado cuestionado
Deja por escrito a quién puede acudir una persona, qué información se conserva y quién tiene autoridad para corregir. Una revisión humana sirve poco si quien revisa no dispone de tiempo, evidencia o posibilidad de cambiar la decisión. Evita describirla como garantía hasta comprobar cómo funciona en la práctica.
Mi análisis desde los riesgos humanos de la IA
En mi Taxonomía IAConSentido, priorizo Decisiones, organizaciones y sociedad: el resultado depende de objetivos, responsabilidades y consecuencias que alcanzan a otras personas. También conecto Autonomía y agencia: una persona necesita posibilidades reales de comprender, cuestionar y actuar ante una decisión que la afecta.
Desde el Método SENSE, te propongo contrastar 3 elementos: la intención declarada, lo que el sistema mide y lo que sucede a las personas. Esta aplicación es mía. No atribuyo a Christian mi taxonomía ni la presento como una solución técnica al problema de alineación.
Lo que no resuelve una lista de preguntas
El libro plantea un problema amplio. Un ejercicio de revisión no demuestra que un sistema sea seguro, justo o compatible con todos los valores humanos. Tampoco sustituye una evaluación técnica o jurídica cuando corresponda. Sí puede ayudarte a detectar una conversación que falta antes de contratar una herramienta o aceptar sus resultados.
Preguntas frecuentes
¿El problema de alineación solo importa para una IA muy avanzada?
No. La presentación del autor incluye sistemas que ya intervienen en decisiones humanas. Aquí me concentro en revisar objetivos y efectos organizacionales, sin tratar los escenarios futuros como hechos confirmados.
¿Una métrica es necesariamente una mala forma de evaluar?
No. Puede ser útil si sabes qué representa y qué deja fuera. Te propongo acompañarla de revisión de casos y consecuencias, especialmente cuando una decisión afecta a personas.
Para tu próxima reunión: ¿qué podría mejorar en el indicador sin mejorar en la vida de quien recibe la decisión?
Fuentes consultadas
Para seguir explorando
¿Qué pregunta te gustaría llevar a tu próxima lectura? Puedes encontrar otros puntos de vista en mi selección de libros sobre riesgos humanos de la IA.
Sigamos esta conversación
En IAConSentido comparto cada sábado preguntas y recursos para convivir con la IA con criterio. También puedes empezar por el Semáforo de Riesgo Humano.
Karine Boucher
Especialista en Riesgos Humanos de la IA · Creadora del Método SENSE
Soy Karine, profesional franco-mexicana con más de 25 años de experiencia en entornos internacionales. Creé el Método SENSE para ofrecer lo que los marcos técnicos de gobernanza no dan: herramientas protectoras, claras y utilizables en la vida real — especialmente para familias y educadores.
Formada en Ciencia de Datos en el MIT y especializada en riesgos humanos de la IA, gobernanza y ética aplicada. Creo que la pregunta más urgente de nuestro tiempo es cómo seguir siendo humanos mientras convivimos con la IA.
Comments
Pingback: Race After Technology: tecnología y discriminación
Pingback: Human Compatible: IA y control humano | Stuart Russell