Una organización reconoce que su IA se equivocó y anuncia una mejora. La noticia puede terminar ahí… pero para la persona afectada quizá el problema siga sin resolverse.
Por eso te recomiendo revisar What to do when AI goes wrong?, un artículo de Trustible publicado el 19 de octubre de 2023. Me interesa su pregunta sobre lo que sucede después de un incidente, no solo la descripción de lo que salió mal.
¿Qué analizaron?
El equipo de Trustible revisó una muestra aleatoria de 100 incidentes de AI Incident Database. Utilizó noticias y comunicados para clasificar respuestas técnicas, empresariales y externas. Es un análisis exploratorio publicado por un proveedor de herramientas de gobernanza, no una evaluación independiente de todas las respuestas a incidentes de IA.
Hay diferencias entre algunos recuentos de su tabla y los porcentajes del texto. Por eso no utilizo esas cifras para comparar qué reacción es más frecuente. Además, que una acción no aparezca en las fuentes no demuestra que no ocurriera; que una empresa la anuncie tampoco confirma su eficacia.
Lo que te propongo separar: corregir el sistema y atender a la persona
Son 2 tareas distintas. Cambiar una configuración puede reducir un riesgo futuro, sin solucionar lo que le pasó a alguien. Una disculpa puede reconocer el daño, sin corregir la causa.
Cuando revises una respuesta a un incidente, te conviene preguntar:
- ¿Qué se hizo para detener el problema?
- ¿Quién pudo reclamar y obtener una revisión?
- ¿Qué cambió en el sistema o en el proceso de decisión?
- ¿Qué evidencia permite comprobar que ese cambio funciona?
No necesitas aceptar un comunicado como respuesta completa. También puedes distinguir lo comprobado de lo que todavía está pendiente.
Ejemplo ficticio: una solicitud rechazada por error
Imagina que un sistema descarta una solicitud porque interpreta mal un documento. La organización corrige el procesamiento para los siguientes casos, pero no revisa las solicitudes anteriores.
Desde el punto de vista técnico, quizá haya una mejora. Desde el punto de vista de quien perdió una oportunidad, falta algo importante. Yo preguntaría si se identificó a las personas afectadas, si pueden solicitar una nueva revisión y quién debe responderles.
No propongo una compensación universal ni una conclusión legal. Te invito a comprobar si la respuesta atiende el caso real, además de anunciar una solución para el futuro.
Cómo lo conecto con mi taxonomía
Seguridad, privacidad y dignidad: te recomiendo observar cómo se reconoce y atiende a la persona afectada.
Decisiones, organizaciones y sociedad: conviene identificar responsables, registros y vías de revisión. Son relaciones editoriales que propongo, no categorías utilizadas por Trustible.
¿Por dónde empezar?
Toma un incidente documentado y separa en 2 columnas lo que la organización dijo y lo que las fuentes permiten comprobar. Si falta información, anótalo. Reconocer ese límite es más útil que concluir que todo quedó resuelto porque se anunció una actualización.
Puedes consultar las familias en el mapa de Riesgos Humanos de la IA.