Por Karine Boucher · Especialista en Riesgos Humanos de la IA · Creadora del Método SENSE
Te rechazan una solicitud y la explicación es que no alcanzaste el puntaje. ¿Qué puedes revisar si nadie te dice cómo se obtuvo? Cuando una decisión afecta tu trabajo, tus estudios o una oportunidad importante, me interesa que puedas entenderla y pedir que alguien se haga responsable.
Strengthening legal protection against discrimination by algorithms and artificial intelligence, de Frederik J. Zuiderveen Borgesius, examina la protección jurídica europea frente a la discriminación algorítmica. Es un artículo de 2020, aceptado el 10 de marzo de ese año. Que la copia de arXiv tenga una dirección de 2025 no lo convierte en una investigación nueva.
Qué aporta este artículo
El autor analiza las posibilidades y límites de las normas sobre discriminación y protección de datos de su época. También propone mejorar su aplicación y considerar respuestas específicas por sector. Presento esas ideas como análisis académico histórico, no como descripción completa del derecho europeo vigente.
De ahí tomo una pregunta para tu organización: si una herramienta clasifica personas, ¿cómo comprobarán que sus resultados son pertinentes y que existe una forma de revisarlos? No basta con que el proveedor diga que el sistema es objetivo.
Ejemplo ficticio: la experiencia que el filtro no reconoce
Imagina una empresa que busca a alguien para coordinar proyectos. Su filtro favorece trayectorias sin interrupciones y descarta a una candidata que pasó un tiempo cuidando a un familiar. La candidata tiene experiencia suficiente, pero no llega a la entrevista.
Yo empezaría por revisar qué relación tiene ese criterio con el trabajo real. ¿Es necesario haber trabajado sin pausas? ¿Quién decidió convertirlo en una señal de capacidad? ¿Se comprobó qué personas quedaban fuera? No afirmo que cualquier resultado desigual demuestre discriminación ilegal. Sí te recomiendo investigar antes de aceptar que el puntaje explica todo.
La revisión también debe alcanzar las decisiones anteriores de la empresa. Si el equipo ya seleccionaba mal, automatizar ese proceso puede hacer que el problema se repita con menos oportunidades de cuestionarlo. La comparación útil exige revisar tanto el sistema como el procedimiento humano que lo rodea.
Qué puedes preguntar antes de aceptar el resultado
- Qué se está evaluando: pide que cada criterio tenga una justificación relacionada con la decisión.
- Qué información falta: comprueba si el sistema pudo ignorar experiencia, contexto o datos corregidos.
- Quién puede revisar: identifica a una persona con capacidad real de modificar el resultado.
- Cómo se detectan errores repetidos: solicita evidencia de revisión adecuada al contexto, sin recolectar datos sensibles de forma improvisada.
Si te toca diseñar el proceso, prueba también el camino de quien recibe una negativa. Un enlace que no funciona, una respuesta automática o una explicación imposible de entender pueden impedir que una revisión exista en la práctica. Te propongo ensayar ese recorrido antes de anunciarlo como protección.
Cómo lo relaciono con los riesgos humanos de la IA
Lo incluyo en Seguridad, privacidad y dignidad por el trato que recibe una persona cuando es clasificada. También en Decisiones, organizaciones y sociedad, porque hay responsables que eligen criterios, adoptan herramientas y deben revisar consecuencias. Son conexiones de mi Taxonomía IAConSentido, no categorías del autor.
Antes de usarlo como referencia jurídica
Te conviene contrastar cualquier obligación con las normas actuales del país y del sector. Este artículo precede a desarrollos regulatorios posteriores y no sustituye asesoría para un caso concreto. Lo recomiendo para aprender a cuestionar una clasificación, no para resolver una controversia con una sola cita.
¿Quitar nombres y género elimina el riesgo?
No lo daría por resuelto. Yo pediría revisar qué otras variables usa el sistema y qué efectos produce, con apoyo especializado cuando corresponda.
¿Que una persona confirme la decisión es suficiente?
Te recomiendo comprobar si puede entenderla, cuestionarla y cambiarla. Una firma sin información ni autoridad ofrece poco espacio para corregir un error.
Fuente: artículo de 2020, DOI 10.1080/13642987.2020.1743976. Consulta: noviembre de 2026.