Un proveedor te dice que su IA es confiable. Te muestra una gráfica y un porcentaje alto. ¿Qué tendrías que revisar para saber si esa promesa sirve para el uso que tú necesitas?
Qué encontrarás en este recurso
Introduction to AI assurance es una guía introductoria del Department for Science, Innovation and Technology del Reino Unido, publicada el 12 de febrero de 2024. Explica cómo medir, evaluar y comunicar evidencias sobre los sistemas de IA.
El documento sitúa estas prácticas dentro de la gobernanza de IA y presenta técnicas para revisar capacidades, limitaciones y riesgos. Se dirige a quienes necesitan una primera explicación, no un manual técnico exhaustivo. Su contexto institucional y regulatorio es británico. Puedes comprobar el contexto y consultar el documento en su página oficial.
Cómo te recomiendo aprovecharlo
Yo te recomiendo empezar por lo que significa la evidencia. Una prueba útil necesita una pregunta concreta: qué se evaluó, con qué datos, bajo qué condiciones y para quién. Saber que alguien hizo una evaluación no basta para entender si responde a tus dudas.
Un ejemplo: elegir un asistente para atención al cliente
Imagina que vas a contratar un asistente para responder preguntas sobre tus servicios. Es un ejemplo ficticio. El proveedor presenta un buen resultado en una evaluación general, pero tus clientes preguntan por excepciones, cancelaciones y datos personales. Yo pediría revisar esas situaciones antes de permitir que responda sin supervisión.
Qué puedes hacer en tu equipo
- Pregunta qué se midió: una cifra de precisión no explica por sí sola si el sistema sabe responder tus preguntas.
- Revisa las condiciones: averigua si las pruebas incluyen los idiomas, personas y situaciones de tu servicio.
- Pide que expliquen los límites: necesitas saber cuándo el sistema no debe responder o cuándo requiere revisión.
- Asigna seguimiento: acuerda quién revisará los problemas después del lanzamiento y cuándo se repetirá la evaluación.
Qué riesgos humanos te recomiendo observar
Decisiones, organizaciones y sociedad: te conviene documentar por qué aceptas una herramienta y qué condiciones impones. Relaciones, confianza y convivencia: te recomiendo que la confianza que pides a otras personas se apoye en información que puedan entender.
Estas relaciones corresponden a mi Taxonomía IAConSentido. Te las propongo para revisar situaciones concretas; no son una clasificación ni un respaldo de la institución que publica el recurso.
Qué conviene tener en cuenta
Consultar esta guía no certifica un sistema ni demuestra cumplimiento legal. Tampoco convierte una evaluación puntual en una garantía permanente. Revisa la versión, el alcance de cada prueba y las normas aplicables con los responsables adecuados.
¿AI assurance significa que la IA no se va a equivocar?
No. Te ayuda a organizar y valorar evidencias sobre cómo funciona y cuáles son sus límites. Sigue siendo necesario revisar el uso concreto y los cambios que ocurran con el tiempo.
Por dónde empezar
Te propongo tomar 1 promesa de un proveedor y convertirla en una pregunta comprobable. En lugar de “es segura”, pregunta qué datos protege, contra qué problemas se probó y qué información puedes revisar.
Si necesitas ordenar esas preguntas, puedes consultar el Método SENSE y elegir una acción que puedas revisar después con tu equipo.