IAConSentido · Guías y fuentes externas · Por Karine Boucher
Una puntuación puede darte tranquilidad… pero primero necesitas entender qué se midió. Te recomiendo preguntar cómo se obtuvo ese resultado antes de usarlo para aprobar una herramienta.
Qué encontrarás en este recurso
Challenges in evaluating AI systems. En este artículo de 2023, Anthropic describe dificultades encontradas al evaluar sus propios modelos: condiciones de las pruebas, interpretación de métricas, trabajo humano y coordinación con evaluadores externos. Es la experiencia de un proveedor, no una comparación independiente actual.
4 de octubre de 2023.
Cómo te recomiendo aprovecharlo
A mí me interesa especialmente quién decide qué cuenta como un resultado aceptable. Una métrica puede estar bien calculada y, aun así, no responder la pregunta que importa a tu equipo. Por eso te propongo acordar primero el uso y el error que quieren detectar.
Ejemplo ficticio: una decisión concreta
Imagina que un asistente casi nunca produce una respuesta ofensiva porque rechaza todas las preguntas. El indicador parece excelente, pero tampoco ayuda a las personas. Antes de celebrar el resultado, yo revisaría ejemplos de respuestas y las condiciones de la prueba.
Preguntas para no quedarte con la puntuación
- ¿Qué versión del modelo se evaluó y con qué instrucciones?
- ¿Qué ejemplos quedaron fuera de la prueba?
- ¿Quién revisó las respuestas, con qué criterios y en qué idioma?
- ¿Qué cambiaría nuestra decisión aunque el promedio fuera bueno?
Estas preguntas son mi propuesta para trabajar con el recurso, no una reproducción de su metodología. Te recomiendo elegir la que puedas aclarar hoy y dejar por escrito qué información necesitas para las demás. No hace falta convertir una duda en una respuesta apresurada.
Qué conviene tener presente
No conviene usar las observaciones sobre modelos de 2023 como diagnóstico de productos actuales. Tampoco concluir que evaluar no sirve: la pregunta es qué evidencia falta y cómo mejorarla.
Riesgos humanos relacionados
Cognición y criterio aparece cuando confundimos una cifra con una conclusión. Decisiones, organizaciones y sociedad permite revisar quién fija el nivel de evidencia necesario antes de aceptar un riesgo. Esta clasificación corresponde a mi Taxonomía IAConSentido, no a las categorías de la fuente.
Consultar Challenges in evaluating AI systems · Explorar la biblioteca
Fuente consultada el 13 de noviembre de 2026. Karine Boucher · Especialista en Riesgos Humanos de la IA · Creadora del Método SENSE.