«Vamos a probarlo primero» puede sonar tranquilizador. Yo te recomendaría hacer otra pregunta antes de quedarte tranquila: ¿qué podría pasarles a las personas durante esa prueba?
The role of sandboxes in promoting flexibility and innovation in the digital age te ayuda a entender por qué una prueba necesita condiciones, responsables y límites. Es un documento de Angela Attrey, Molly Lesher y Christopher Lomax publicado por la OCDE el 12 de junio de 2020. No es una guía de cumplimiento actual del AI Act ni está dedicado exclusivamente a la IA.
¿Qué es un sandbox regulatorio?
El documento examina entornos de experimentación supervisados por autoridades, con condiciones definidas para probar innovaciones. Revisa características, beneficios y dificultades en varios sectores. Entre las protecciones que describe figuran límites de participantes o alcance, seguimiento y requisitos que no se suspenden.
Te conviene distinguirlo de una prueba interna de una empresa. Llamar «sandbox» a un proyecto no le concede autorización regulatoria ni convierte sus resultados en una certificación de seguridad.
Lo que yo revisaría antes de una prueba
Más que el nombre del programa, me interesa saber qué se está intentando comprobar. Si el único criterio es que la herramienta funcione rápido, podrías dejar fuera errores que importan mucho a quien recibe el servicio.
- El alcance: qué tarea se prueba y qué queda fuera.
- Las personas: quién puede verse afectado y cómo se le informa.
- La revisión: quién observa los resultados y puede detener la prueba.
- La salida: qué ocurre si algo falla o si se decide no continuar.
Ejemplo ficticio: un asistente para orientar solicitudes
Imagina que una organización prueba un asistente que indica qué documentos necesita una persona. El equipo mide cuántas consultas resuelve… pero no revisa si sus indicaciones hacen que alguien pierda un plazo.
Yo empezaría con un alcance acotado, una revisión de las respuestas y una alternativa atendida por una persona. También definiría cómo detectar y corregir una indicación errónea. Es una propuesta práctica para este ejemplo, no un permiso para experimentar con cualquier dato o servicio.
Si el uso está regulado, corresponde comprobar las condiciones aplicables con la autoridad o el responsable jurídico adecuado.
Qué riesgos humanos te recomiendo observar
Seguridad, privacidad y dignidad: las personas no dejan de necesitar protección porque un sistema esté en prueba.
Decisiones, organizaciones y sociedad: conviene aclarar quién autoriza, supervisa y responde. Son conexiones que propongo desde mi taxonomía, no una clasificación de la OCDE.
¿Una prueba exitosa demuestra que ya puedes ampliarla?
No necesariamente. Te recomiendo revisar qué condiciones cambiarán al aumentar usuarios, tareas o datos. El documento señala límites de recursos y supervisión de estos programas. Sus ejemplos describen la situación de 2020: sirven para entender el enfoque, no para asumir que cada programa sigue abierto o mantiene las mismas reglas.
Consulta las familias en mi mapa de Riesgos Humanos de la IA.