Qué pasó

El MIT AI Risk Initiative publicó los resultados de un proceso de consulta formal llamado estudio Delphi, en el que participaron 272 especialistas internacionales en inteligencia artificial. A lo largo de tres rondas de consulta, los expertos evaluaron 24 categorías de riesgo derivadas de la IA y estimaron la probabilidad de que cada una derivara en consecuencias catastróficas durante los próximos cinco años.

El estudio no es alarmista ni especulativo. Es una sistematización rigurosa del conocimiento colectivo de quienes trabajan con estos sistemas desde adentro. Sus cuatro hallazgos principales son:

• 18 de 24 riesgos evaluados tienen una probabilidad igual o mayor al 10% de derivar en resultados catastróficos si las tendencias actuales no cambian. Los más señalados: ciberataques y armas, capacidades peligrosas de IA, dinámicas competitivas sin gobernanza, centralización del poder y desinformación a escala.
• Aun con mitigaciones realistas, cinco riesgos permanecen por encima del umbral catastrófico: capacidades peligrosas de IA, ciberataques y armas, daño ambiental, desigualdad y centralización del poder.
• La vulnerabilidad es distribuida: los más expuestos son los usuarios de IA y el público general. La responsabilidad de mitigar, en cambio, recae principalmente en los desarrolladores de IA de frontera, los gobiernos, los reguladores y los organismos de estandarización.
• Los sectores más vulnerables identificados son: información, finanzas y seguridad nacional.

Lo que este estudio nos está mostrando

Hay una brecha que este estudio ilumina con precisión: quienes más se exponen no son quienes tienen más capacidad de actuar. El público general, los usuarios cotidianos, las familias, los trabajadores, las instituciones educativas — todos asumen una vulnerabilidad alta frente a riesgos que ellos mismos no pueden controlar ni mitigar de forma directa.

Eso no es solo un problema técnico. Es una condición estructural que define cómo se distribuye el poder en la era de la IA.

Lo que el estudio confirma es algo que desde IAConSentido señalamos desde el inicio: los riesgos más serios de la IA no son los más visibles. La desinformación a escala no aparece como un problema de algoritmos; aparece como una erosión del criterio colectivo. La centralización del poder no se ve como un fallo técnico; se siente como la pérdida gradual de agencia individual y social. La desigualdad potenciada por IA no genera alarma inmediata; opera en silencio, profundizando brechas que ya existían.

Otro elemento que merece atención directa: el estudio separa dos escenarios. En el primero, sin cambios relevantes, 18 de 24 riesgos superan el umbral de probabilidad catastrófica. En el segundo, con mitigaciones pragmáticas, ese número baja a cinco. Esto significa que las medidas de gobernanza, los marcos regulatorios y las decisiones institucionales tienen un efecto real y medible. La diferencia entre 18 y 5 es precisamente el espacio donde la gobernanza opera. Y ese espacio existe.

Lo que no puede pasar es que ese espacio quede vacío porque nadie supo exigirlo, habitarlo o usar su criterio para demandarlo.

Mirarlo con el lente S.E.N.S.E.

Seguridad Humana — ¿Qué pudo afectar a las personas?
El estudio identifica a los usuarios de IA y al público general como el grupo más vulnerable. Eso incluye a cualquier persona que usa herramientas de IA en su trabajo, su crianza, su comunicación o sus decisiones médicas y financieras. La seguridad humana aquí no habla solo de ciberataques directos: habla de la erosión silenciosa de la capacidad de distinguir lo verdadero de lo fabricado, de decidir con información íntegra, de mantener privacidad en entornos cada vez más permeados por sistemas algorítmicos.

Ética Aplicada — ¿Dónde aparece la responsabilidad?
El hallazgo más incómodo del estudio es la asimetría entre vulnerabilidad y responsabilidad. Los expertos concentran la responsabilidad de mitigación en los desarrolladores de IA de frontera, los gobiernos y los reguladores. Pero esas mismas instituciones son las que hoy operan bajo presión competitiva, sin marcos regulatorios consolidados y con incentivos económicos que no siempre están alineados con el bienestar público. La pregunta ética central que el estudio deja abierta: cuando la responsabilidad está concentrada y los incentivos están distorsionados, ¿quién vela por el ciudadano?

Neuroergonomía — ¿Cómo pudo fallar la relación humano-máquina?
Uno de los riesgos que el estudio mantiene como catastrófico incluso bajo mitigaciones es la sobredependencia o el mal uso de capacidades peligrosas de IA. Desde la perspectiva de la neuroergonomía, ese riesgo tiene una cara cotidiana: cuando una persona delega demasiado en un sistema automatizado, cuando confía más en la respuesta de un modelo que en su propio juicio, cuando acepta sin verificar — se están creando las condiciones para que errores del sistema escalen sin que nadie los detenga. La vigilancia humana activa no es un freno al progreso: es la condición de su seguridad.

Sentido / Sociedad — ¿Por qué importa más allá de este estudio?
Este análisis no es un ejercicio académico. Es un mapa de tensiones reales que ya están ocurriendo: la concentración del poder tecnológico en pocas empresas, la desinformación que fragmenta el tejido social, la desigualdad que se profundiza cuando los beneficios de la IA no se distribuyen y sus costos sí. Cada uno de los riesgos identificados tiene una expresión en la vida cotidiana de familias, comunidades y organizaciones. Ignorarlos porque son complejos o porque "no me toca directamente" es precisamente la actitud que los vuelve más peligrosos.

Estrategia / Autonomía — ¿Qué debemos aprender para actuar mejor?
El estudio confirma que la gobernanza funciona. Que la distancia entre 18 riesgos catastróficos y 5 se construye con decisiones concretas: marcos regulatorios, estándares técnicos, educación, supervisión activa y cultura organizacional que priorice el criterio humano. Para individuos y organizaciones, la lección estratégica es clara: el margen de acción existe, y usarlo requiere conocimiento, criterio y voluntad. No tecnología adicional.

La lectura neurohumanista

Hay algo profundamente revelador en que el estudio asigne la mayor vulnerabilidad al público general: a las personas que usan estas herramientas sin haberlas diseñado, sin entender completamente cómo funcionan, y con una confianza que muchas veces se construye sin que nadie se la haya ganado formalmente.

Eso es lo que desde el método S.E.N.S.E. llamamos confianza desplazada: el momento en que una persona entrega su criterio a un sistema sin preguntarse si ese sistema merece esa entrega. Y la confianza desplazada no es un defecto de carácter. Es una consecuencia predecible de sistemas diseñados para que confiar sea más fácil que verificar.

La integridad cognitiva — la capacidad de pensar con criterio propio, evaluar con información real y decidir con autonomía — no se pierde de golpe. Se erosiona gradualmente, uso tras uso, cada vez que un sistema toma una decisión que nosotros deberíamos haber tomado y nosotros simplemente aceptamos.

Este estudio es una fotografía de ese proceso en escala global. Y lo que muestra es que proteger el criterio humano no es una preocupación filosófica: es una necesidad de gobernanza.

Preguntas que vale la pena hacerse

• ¿Sé cuáles de los riesgos identificados en este estudio ya están presentes en mi entorno laboral o familiar?
• ¿Cuándo fue la última vez que verifiqué de forma activa la información que un sistema de IA me proporcionó antes de actuar sobre ella?
• En mi organización, ¿quién tiene la responsabilidad explícita de supervisar las decisiones que involucran IA? ¿Esa responsabilidad está documentada o solo asumida?
• ¿Qué capacidades estoy desarrollando para que mi criterio siga siendo el árbitro final en mis decisiones, aunque la IA me proporcione datos o recomendaciones?
• ¿Qué le explico a mis hijos, estudiantes o colaboradores sobre la diferencia entre usar IA con criterio y usarla en automático?

Lo que podemos aplicar desde hoy

• Adopta una política de verificación activa: antes de actuar sobre cualquier información generada por IA —especialmente en áreas de finanzas, salud, seguridad o comunicación— establece un paso de verificación humana deliberada. No como burocracia, sino como hábito de criterio.
• Documenta las decisiones que involucran IA en tu organización: si una decisión importante fue informada o ejecutada por un sistema automatizado, eso debe estar registrado, con un responsable humano identificado. La trazabilidad es gobernanza básica.
• Habla de vulnerabilidad con tu equipo o familia: los sectores más vulnerables identificados —información, finanzas y seguridad— son sectores cotidianos. Una conversación directa sobre cómo opera la desinformación, cómo se protege la privacidad o qué decisiones financieras no deben delegarse a algoritmos es una medida de protección concreta.
• Exige transparencia a las herramientas que usas: los desarrolladores de IA de frontera tienen la mayor responsabilidad según el estudio. Eso significa que como usuario tienes derecho a preguntar: ¿cómo funciona esto?, ¿qué datos usa?, ¿quién responde si falla? Ejercer ese derecho es también una forma de gobernanza ciudadana.
• Distingue entre riesgo técnico y riesgo humano: el estudio confirma que los riesgos más persistentes no son solo tecnológicos —son estructurales, sociales, cognitivos. Eso significa que las medidas de protección más relevantes no son solo técnicas: son educativas, culturales y de criterio.

Una idea para recordar

La diferencia entre 18 riesgos catastróficos y 5 es exactamente el espacio donde la gobernanza opera. Ese espacio existe. Habitarlo con criterio es una decisión, no un accidente.