Cuando una IA causa un problema, decir “falló el modelo” puede dejar muchas cosas sin explicar. ¿Quién lo puso en funcionamiento? ¿Cómo se utilizó su respuesta? ¿Había alguien que pudiera corregirla?
Qué encontrarás en este recurso
The Mechanisms of AI Harm: Lessons Learned from AI Incidents es un reporte de Mia Hoffmann publicado por el Center for Security and Emerging Technology de Georgetown University en octubre de 2025. Analiza incidentes de IA para estudiar cómo se producen los daños.
El reporte utiliza casos de AI Incident Database e identifica 6 mecanismos. Su resumen advierte que revisar solo el modelo puede dejar fuera problemas de integración y fallas de supervisión humana. También subraya la utilidad de registrar incidentes para aprender y adaptar las respuestas. Puedes comprobar el contexto y consultar el documento en su página oficial.
Cómo te recomiendo aprovecharlo
Me parece útil porque te invita a investigar qué ocurrió entre la respuesta de una herramienta y la consecuencia para una persona. Ahí pueden aparecer decisiones de compra, instrucciones confusas o revisiones que existían en el papel, pero no se hicieron.
Un ejemplo: un resumen incompleto que termina en una decisión
Imagina que una IA resume una solicitud y omite un dato importante. Es una situación ficticia. Una persona recibe el resumen, supone que está completo y decide sin abrir el documento original. Para corregir el problema, yo revisaría tanto la omisión como el procedimiento que permitió convertir ese resumen en la única información disponible.
Qué puedes hacer en tu equipo
- Reconstruye los pasos: anota qué recibió la herramienta, qué produjo y quién utilizó el resultado.
- Distingue lo comprobado: separa los hechos documentados de lo que todavía necesitas investigar.
- Revisa la supervisión: pregunta si la persona tenía tiempo, información y autoridad para intervenir.
- Corrige el proceso concreto: no des por resuelto el problema solo porque cambiaste de modelo o añadiste una advertencia.
Qué riesgos humanos te recomiendo observar
Decisiones, organizaciones y sociedad: te conviene identificar qué decisiones hicieron posible el daño. Autonomía y agencia: te recomiendo revisar si quienes supervisan pueden cuestionar y detener el sistema de verdad.
Estas relaciones corresponden a mi Taxonomía IAConSentido. Te las propongo para revisar situaciones concretas; no son una clasificación ni un respaldo de la institución que publica el recurso.
Qué conviene tener en cuenta
Los 6 mecanismos del reporte no son las 8 familias de IAConSentido. Son clasificaciones con propósitos distintos. Este análisis de incidentes tampoco permite calcular por sí solo la probabilidad de daño de cualquier producto o comparar todos los sistemas del mercado.
¿El reporte sirve para evaluar una herramienta concreta?
Puede ayudarte a preparar preguntas y revisar cómo se integrará en un proceso. No sustituye las pruebas del sistema, la evaluación de tu contexto ni la atención de un incidente real.
Por dónde empezar
Si tu equipo ya tuvo un problema con IA, te propongo reconstruirlo sin empezar por buscar culpables. Primero documenten qué pasó y qué faltó. Después acuerden quién corregirá cada punto y cómo comprobarán el cambio.
Si necesitas ordenar esas preguntas, puedes consultar el Método SENSE y elegir una acción que puedas revisar después con tu equipo.