Una IA puede equivocarse sin que nadie intente manipularla. También puede fallar porque alguien alteró información o intentó cambiar su comportamiento. Te recomiendo distinguir esas situaciones antes de decidir qué revisar y a quién pedir ayuda.
Qué es este documento
Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations, identificado como NIST AI 100-2e2025, es un reporte técnico publicado en marzo de 2025. Organiza conceptos sobre manipulación deliberada de sistemas de aprendizaje automático y sus posibles mitigaciones. Considera el tipo de sistema, la etapa de su desarrollo o uso y las capacidades y objetivos de quien intenta atacarlo. Incluye un glosario para compartir un vocabulario más preciso.
Qué te recomiendo preguntar antes de contratar una herramienta
Cuando un proveedor dice que su IA es segura, pídele que explique frente a qué problemas la ha evaluado y qué límites reconoce. Una respuesta general puede dejar fuera el uso que tú estás preparando. Por ejemplo, no es lo mismo consultar información pública que conectar el sistema con documentos internos y permitirle realizar acciones.
Yo también preguntaría quién revisa los cambios. Si el proveedor actualiza el modelo, incorpora otra fuente de datos o modifica una integración, necesitas saber si las comprobaciones anteriores siguen siendo pertinentes.
Ejemplo: un asistente conectado a documentos internos
Imagina que una empresa conecta un asistente a sus documentos para facilitar búsquedas. El equipo comprueba que encuentra información… pero no verifica suficientemente si cada persona puede acceder solo a lo que le corresponde. Este ejemplo es ficticio y describe una necesidad de revisión, no una demostración de ataque. Te propongo usarlo para conversar con el equipo de seguridad sobre permisos, límites de acceso y respuesta ante incidentes.
4 acciones para una conversación útil
- Describe qué información consulta la herramienta y qué acciones puede realizar.
- Pide evidencias de evaluación relacionadas con ese uso, sin solicitar instrucciones para atacar otros sistemas.
- Identifica quién recibe un aviso de comportamiento inesperado y quién puede suspender la integración.
- Acuerda cómo se revisan las personas o los datos afectados si ocurre un incidente.
Qué riesgos humanos te propongo observar
Seguridad, privacidad y dignidad: una exposición o manipulación puede afectar a personas cuyos datos utiliza el sistema. Decisiones, organizaciones y sociedad: alguien debe responder por los permisos, las pruebas y las medidas correctivas. Estas relaciones corresponden a mi Taxonomía IAConSentido, no a la clasificación técnica de NIST.
Qué no demuestra esta taxonomía
El documento explica amenazas y mitigaciones, pero no certifica productos ni determina cuánto riesgo debe aceptar cada organización. Sus autores señalan límites de las defensas y de su propia clasificación. Además, los errores no deliberados quedan fuera de su foco específico: no conviene atribuir cualquier respuesta equivocada a un ataque.
¿Qué versión estoy consultando?
Aquí comento la edición final de 2025. La ficha oficial de NIST enlaza correcciones y un borrador posterior de 2026. Te recomiendo comprobar ese estado antes de citar una versión; un borrador no debe presentarse como edición final.
Por dónde empezar
Elige una herramienta que ya uses y pide que te expliquen qué pasaría si alguien reporta una respuesta que expone información ajena. Esa conversación permite comprobar responsabilidades sin convertir a todo el equipo en especialistas en ciberseguridad.