Vas a incorporar una herramienta de IA a tu trabajo. La demostración se ve bien, responde rápido y promete ahorrarte tiempo. Antes de decidir, yo haría otra pregunta: ¿qué les pasó a otras personas cuando la usaron en una situación parecida?
Para buscar esas historias te recomiendo conocer la Artificial Intelligence Incident Database, también llamada AI Incident Database o AIID. Ahí puedes revisar casos concretos: qué ocurrió, a quién afectó y qué decisiones tomaron quienes utilizaban la herramienta.
¿Qué es la AI Incident Database?
Es una base de datos pública que reúne reportes sobre daños o situaciones cercanas al daño asociados al uso de sistemas de inteligencia artificial. Es un proyecto de Responsible AI Collaborative. Puedes consultar sus fichas y seguir los enlaces para revisar las fuentes de cada caso. Así la presenta el sitio oficial de AIID.
Por qué te la recomiendo
Te conviene revisar casos reales para entender cómo un problema con la IA puede afectar a alguien: una respuesta equivocada, una evaluación injusta o un mensaje ofensivo. Así puedes preguntarte qué harías tú en una situación parecida.
Te recomiendo este recurso porque puedes aprender de lo que ya ocurrió antes de decidir cómo usar una herramienta. No necesitas trabajar en tecnología. Puedes usar un caso para conversar con tu equipo o preparar una actividad con tus alumnos, siempre que revises primero el contenido y sea adecuado para el grupo.
La base reúne incidentes de distintos sectores y permite explorarlos mediante búsquedas, listas y entidades. Una misma ficha puede reunir varios reportes. Su propósito es aprender de lo ocurrido para reducir la repetición de daños, según explica AIID en su presentación.
Un caso para empezar: Tay, el chatbot de Microsoft
La ficha 6 de AIID recoge el caso de Tay, un chatbot de Microsoft que publicó mensajes racistas, sexistas y antisemitas en Twitter en marzo de 2016. La ficha permite consultar diferentes reportes del incidente y sus referencias.
Te conviene abrir también la fuente original y leer lo que dijo la organización involucrada. En su comunicado del 25 de marzo de 2016, Microsoft se disculpó por los mensajes ofensivos y explicó que había puesto Tay fuera de línea. La empresa señaló que un ataque coordinado aprovechó una vulnerabilidad que no había previsto, pese a haber realizado pruebas y aplicado filtros.
Es un caso de 2016. No lo usaría para afirmar que cualquier chatbot actual va a comportarse igual. Sí me sirve para preguntarme qué hemos preparado para cuando una herramienta se utiliza de una manera que no esperábamos.
Yo lo veo así: si vas a poner una IA a conversar con personas, te conviene decidir antes quién revisará sus respuestas, cuándo intervendrá y cómo atenderás a quienes puedan resultar afectados. Esas decisiones no pueden quedarse para después del lanzamiento.
Para revisar un caso: 5 pasos que te recomiendo
- Empieza por una situación que te importe: por ejemplo, un chatbot que atiende clientes o una herramienta que ayuda a evaluar trabajos. Busca una función parecida a la que quieres utilizar, aunque sea de otra organización.
- Separa el hecho de la interpretación: anota qué se reporta, quién lo cuenta y qué evidencia aparece. Una denuncia, la respuesta de una empresa y una resolución no dicen necesariamente lo mismo.
- Abre las fuentes originales: te recomiendo revisar la fecha, los detalles y si hubo una respuesta o una corrección posterior. No te quedes solo con el título o el resumen. Si algo no puede comprobarse, indícalo.
- Revisa a quién afectó: ¿quién recibió el daño o quedó expuesto? ¿Podía pedir ayuda, cuestionar el resultado o detener lo que estaba pasando? ¿Quién tenía capacidad para intervenir?
- Elige 1 cambio concreto: puede ser revisar las respuestas antes de enviarlas, preparar una vía de atención humana o definir quién puede suspender el uso. La medida debe responder al problema que encontraste, no limitarse a “tener más cuidado”.
Si vas a compartir un caso, guarda el enlace de la ficha, los de las fuentes consultadas y la fecha de revisión. AIID explica que las fichas pueden incorporar reportes con el tiempo y ofrece una forma de citar cada incidente.
Cómo lo relaciono con los riesgos humanos de la IA
Para ayudarte a revisar este caso, te propongo fijarte en 2 familias de mi Taxonomía IAConSentido, dentro del dominio Vínculos y sociedad:
- Decisiones, organizaciones y sociedad: te conviene revisar quién decidió poner el sistema en funcionamiento, qué controles preparó y quién responde cuando hay un problema.
- Relaciones, confianza y convivencia: te recomiendo observar cómo los mensajes o las actuaciones del sistema pueden afectar el trato entre personas y la confianza en quien lo ofrece.
Yo relaciono este caso con esas familias para ayudarte a reconocer qué decisiones y relaciones conviene cuidar. Es una explicación que añado desde IAConSentido. AIID tiene sus propias clasificaciones y no avala el Método SENSE.
Un ejemplo: qué preguntar antes de usar un asistente con tus clientes
Imagina que quieren añadir un asistente que responda preguntas de clientes. Es una situación ficticia para aplicar lo que acabamos de revisar.
Después de leer el caso de Tay, yo no cerraría la reunión con “hay que vigilar la IA”. Pediría que acordáramos algo más concreto: qué respuestas necesitan revisión, quién recibe los avisos de un problema y cómo puede un cliente hablar con una persona.
También preguntaría qué haríamos si alguien intenta provocar respuestas ofensivas. ¿Lo hemos probado? ¿Quién puede detener el asistente? ¿Cómo corregimos lo publicado? Tener nombres y pasos acordados me parece más útil que confiar en que todo saldrá como en la demostración.
Lo que te conviene revisar antes de sacar conclusiones
Yo la usaría para encontrar casos y preguntas… pero no para calcular, a partir del número de fichas, la probabilidad de que una herramienta falle. Una colección de incidentes no incluye por sí sola todos los usos de IA con los que habría que compararlos.
Tampoco interpretaría que una empresa es segura porque no encuentro reportes sobre ella. La ausencia de una ficha puede tener muchas explicaciones. Y aparecer en la base no convierte todas las afirmaciones de un reporte en hechos probados.
Antes de acusar a alguien o tomar una decisión importante, te recomiendo comprobar las fuentes y entender qué ocurrió. Si estás consultando una traducción y una palabra te genera dudas, vuelve al texto original.
Preguntas frecuentes
¿Puedo consultar AI Incident Database gratis?
Sí. Sus páginas de incidentes y la búsqueda pública se pueden consultar sin pagar. Puedes empezar desde la versión en español; las fuentes enlazadas pueden tener otros idiomas o sus propias condiciones de acceso.
¿Cada ficha demuestra que la IA causó un daño?
No necesariamente. La ficha reúne reportes sobre un incidente. Te recomiendo revisar qué está documentado, qué se alega y qué sigue sin aclararse antes de extraer una conclusión.
¿Por dónde empiezo si no soy especialista?
Elige 1 caso relacionado con una tarea que conozcas. Lee la ficha, abre una fuente y anota qué ocurrió, quién quedó afectado y qué cambiarías en una situación parecida. No necesitas recorrer toda la base para empezar a aprender.
Te propongo empezar por 1 caso
Abre AI Incident Database y busca una situación cercana a tu trabajo. Después de revisar el caso, anota 1 cosa que comprobarás antes de usar una herramienta parecida. Puede ser tan concreto como averiguar a quién llamar si necesitas detenerla.
Si quieres seguir explorando, en la Biblioteca de Riesgos Humanos de la IA te comparto más contenidos para reconocer estos problemas y decidir cómo actuar.