Hoy hablamos de: Gobernanza de IA de alto riesgo, responsabilidad de los desarrolladores y el marco de compromisos condicionales que propone pausar el desarrollo antes de que la tecnología supere nuestra capacidad de controlarla.
Preparar el freno antes de acelerar: lo que el marco Si-Entonces nos dice sobre la responsabilidad en el desarrollo de IA
Carnegie Endowment for International Peace publicó un marco para que empresas y gobiernos definan, antes de que ocurra, qué harán cuando la IA adquiera capacidades que representen un riesgo inaceptable para la sociedad. La propuesta revela algo más profundo: la urgencia de construir mecanismos de pausa humana antes de que la velocidad del desarrollo haga imposible detener lo que hemos puesto en marcha.
¿Qué son los compromisos Si-Entonces en el contexto de la gobernanza de IA?
Los compromisos Si-Entonces (if-then commitments) son un marco de gobernanza para la inteligencia artificial que establece condiciones explícitas bajo las cuales el desarrollo o despliegue de un sistema de IA debe detenerse o someterse a controles adicionales. Su lógica es: si un modelo de IA desarrolla la capacidad X, entonces deben estar en su lugar las medidas de protección Y antes de que ese modelo pueda ser lanzado al público. Y si esas medidas no están listas, el desarrollo se pausa hasta que lo estén.
Este marco surgió en el contexto de los riesgos más severos asociados a la IA, incluyendo capacidades que podrían aumentar significativamente riesgos de seguridad a escala global. Su valor radica en que no requiere acuerdo sobre si esos riesgos son inminentes, sino solo en que ciertas situaciones exigirían ciertas respuestas si llegaran a ocurrir. Empresas como Google DeepMind, Anthropic y OpenAI ya han publicado marcos propios con elementos similares. Dieciséis empresas anunciaron su intención de adoptar marcos parecidos para la Cumbre de Acción sobre IA de París 2025.
Fuente: Carnegie Endowment for International Peace — Holden Karnofsky, septiembre 2024
Lo que pasó: un marco para pausar antes de que sea tarde
Holden Karnofsky, investigador visitante del programa Carnegie California, publicó en septiembre de 2024 un artículo que describe con claridad un desafío que hasta ahora tenía pocos marcos prácticos: ¿cómo preparan empresas y gobiernos respuestas a riesgos de IA que todavía no han ocurrido, sin frenar innecesariamente el desarrollo de tecnología que también tiene beneficios reales?
Su respuesta es el marco de los compromisos Si-Entonces. La lógica es elegante en su simplicidad: en lugar de debatir indefinidamente si ciertos riesgos de IA son probables o exagerados, se establece de antemano qué sucedería si llegaran a materializarse. Esto incluye pausar el despliegue o incluso el desarrollo de modelos que alcancen ciertos umbrales de capacidad considerados de alto riesgo, hasta que estén en su lugar las protecciones adecuadas.
El informe describe estos umbrales como capacidades de disparo (tripwires): niveles de capacidad que, de ser alcanzados por un modelo de IA, activarían automáticamente una serie de salvaguardas obligatorias. La idea es proactiva: identificar la línea antes de cruzarla, no después.
Al momento de publicación, tres grandes empresas ya habían adoptado marcos con elementos similares:
- Anthropic con su Política de Escalado Responsable (Responsible Scaling Policy), que define niveles de seguridad de IA (ASL) y compromisos de pausa ligados a ellos.
- OpenAI con su Marco de Preparación (Preparedness Framework), que categoriza capacidades de riesgo en niveles bajo, medio, alto y crítico, y establece que solo modelos con riesgo post-mitigación "medio" o inferior pueden ser desplegados.
- Google DeepMind con su Marco de Seguridad de Frontera (Frontier Safety Framework), que define Niveles de Capacidad Crítica y protocolos de mitigación correspondientes.
El artículo aclara que estos marcos son voluntarios, experimentales y reconocidamente preliminares por sus propios autores. Su valor actual no reside en ser sistemas perfectos, sino en ser prototipos que permiten aprender, iterar y construir consenso hacia una regulación más robusta y eventualmente obligatoria.
Lo que este marco nos está mostrando
Leído con atención, el artículo de Carnegie revela algo que va más allá de sus propuestas técnicas: muestra el momento exacto en que el mundo empieza a reconocer que el desarrollo de IA ha alcanzado una escala donde los mecanismos de pausa humana son tan importantes como los mecanismos de avance.
Durante años, la narrativa dominante en torno a la IA fue la del progreso acelerado. La velocidad como virtud. La adopción como sinónimo de competitividad. Cualquier sugerencia de frenar o pausar se etiquetaba rápidamente como miedo irracional o como obstáculo al crecimiento.
Lo que propone el marco Si-Entonces es exactamente lo contrario de esa lógica: que la capacidad de parar es una característica de madurez, no un signo de debilidad. Que los sistemas de IA más responsables no son los que avanzan más rápido, sino los que tienen mecanismos claros para detenerse cuando las condiciones lo requieren.
El artículo también identifica una limitación estructural crítica: el conocimiento técnico sobre los riesgos de la IA reside principalmente en las mismas empresas que desarrollan esa IA. Esto crea una asimetría en la que los reguladores dependen de los mismos actores que supervisan para entender qué deben supervisar. Los compromisos voluntarios son un primer paso, pero el artículo es explícito: en el largo plazo, los compromisos voluntarios solos serán insuficientes. Será necesaria regulación, y probablemente coordinación internacional.
Mirarlo con el lente S.E.N.S.E.
Seguridad Humana — ¿Qué pudo afectar a las personas?
El artículo de Carnegie es directo sobre la naturaleza de los riesgos que motivan este marco: capacidades de IA que, en escenarios futuros posibles, podrían amplificar el alcance de actores maliciosos a escala que hoy resulta difícil de imaginar. Los riesgos de seguridad que describe no son hipotéticos abstractos: ya existen marcos ejecutivos en Estados Unidos y declaraciones firmadas por docenas de países que los reconocen como amenazas reales a gestionar. La seguridad humana, en este contexto, depende de que los mecanismos de pausa existan antes de que se necesiten, no después.
Ética Aplicada — ¿Dónde aparece la responsabilidad?
El artículo identifica con precisión la brecha de responsabilidad en el desarrollo de IA: quienes saben más sobre los riesgos son quienes desarrollan la tecnología, y quienes deben regularla tienen menos información técnica. Los compromisos Si-Entonces intentan cerrar esa brecha proponiendo que las propias empresas se sometan a umbrales de pausa predefinidos. Pero el artículo reconoce la tensión: esperar que los actores privados se autoregulen en un mercado competitivo de alta apuesta tiene límites claros. La responsabilidad ética no puede descansar únicamente en la voluntad de quienes más tienen que ganar con el avance.
Neuroergonomía — ¿Cómo pudo fallar la relación humano-máquina?
El artículo describe un reto cognitivo de fondo en el marco Si-Entonces: evaluar con precisión si un sistema de IA ha cruzado un umbral de capacidad riesgosa es, en sí mismo, una tarea de alta complejidad que requiere experiencia, recursos y tiempo. Los sesgos de automatización y la dificultad de elicitar el "peor caso posible" de un modelo son obstáculos reales. El campo de evaluaciones de capacidades de IA es, en palabras del propio artículo, "muy joven". Esto significa que la confianza en los mecanismos de evaluación no puede ser ciega: el juicio humano experto es irreemplazable para determinar qué cuenta como peligroso y qué cuenta como seguro.
Sentido / Sociedad — ¿Por qué importa más allá de esta empresa o evento?
El artículo aborda algo que pocas conversaciones sobre IA incluyen con la seriedad que merece: la distribución global del poder tecnológico. Si solo un pequeño número de empresas privadas concentra la capacidad de desarrollar los modelos más avanzados, y esas empresas operan principalmente en un puñado de países, entonces los mecanismos de gobernanza que se diseñen hoy serán inevitablemente parciales. La regulación de IA de alto riesgo que proteja efectivamente a toda la humanidad requiere coordinación internacional genuina, no solo cumplimiento voluntario de los actores más responsables.
Estrategia / Autonomía — ¿Qué deberíamos aprender para actuar mejor?
El valor práctico del marco Si-Entonces no está solo en los compromisos en sí, sino en el hábito mental que propone: anticipar condiciones de pausa antes de que la velocidad del sistema haga imposible detenerse. Esto aplica a organizaciones que adoptan IA internamente: definir de antemano en qué situaciones se detendrá el uso de una herramienta, qué señales indican que un sistema no está funcionando como se esperaba, y quién tiene la autoridad para pausar. La autonomía real incluye la capacidad de decir "hasta aquí" cuando las condiciones lo justifican.
La lectura neurohumanista
El marco Si-Entonces, leído desde una perspectiva humanista, es una propuesta para preservar la agencia humana frente a la velocidad del desarrollo tecnológico. Su premisa central es que los humanos deben ser capaces de pausar, evaluar y redirigir antes de que las consecuencias sean irreversibles. Eso es exactamente lo que el método S.E.N.S.E. propone a escala de persona y organización: no la parálisis, sino la capacidad deliberada de detenerse cuando las condiciones lo exigen.
Lo que resulta significativo en el artículo de Carnegie es que reconoce explícitamente que incluso los actores más comprometidos con la seguridad operan dentro de sistemas competitivos que generan presión hacia la aceleración. Los compromisos voluntarios tienen valor, pero su efectividad depende de que nadie con acceso a las mismas capacidades decida ignorarlos. Esto es el problema del actor irresponsable: la regulación unilateral del más responsable puede simplemente cederle ventaja al menos responsable.
La integridad cognitiva de una sociedad, su capacidad de tomar decisiones colectivas informadas sobre tecnologías que la afectan, requiere exactamente el tipo de mecanismos que propone este marco: umbrales definidos, evaluaciones independientes, responsabilidad escalonada, y disposición real a pausar cuando las condiciones lo requieren. La IA que protege la humanidad es la que tiene frenos tan sofisticados como su motor de avance.
Preguntas que vale la pena hacerse
- En tu organización o equipo, ¿existe algún equivalente de un "umbral de pausa"? ¿Hay condiciones definidas bajo las cuales dejarían de usar o desplegar una herramienta de IA, independientemente de su utilidad?
- Cuando adoptas una nueva herramienta de IA para un proceso importante, ¿tienes claro quién evaluaría si está funcionando de forma segura y quién tendría la autoridad de detener su uso?
- ¿Confías plenamente en que las empresas que desarrollan las IA que usas están evaluando sus propios riesgos con independencia suficiente? ¿Qué información tienes para sostener esa confianza o cuestionarla?
- Si la regulación de IA de alto riesgo se vuelve más estricta en los próximos años, ¿tu organización está en posición de demostrar que ya tiene prácticas de supervisión y evaluación propias?
- ¿Conoces cuáles son los marcos de seguridad o las políticas de uso responsable de las plataformas de IA que tu equipo utiliza? ¿Sabes qué compromisos de pausa han asumido sus desarrolladores?
Lo que podemos aplicar desde hoy
- Define tus propios umbrales de pausa. Antes de desplegar IA en procesos importantes, establece con tu equipo cuáles serían las señales que indicarían que el sistema no está funcionando de forma segura o ética. Nómbralas. Ponlas por escrito. Asigna a alguien la responsabilidad de monitorearlas.
- Lee los marcos de seguridad de las plataformas que usas. Anthropic, OpenAI y Google DeepMind han publicado documentos públicos sobre sus políticas de seguridad y sus compromisos de pausa. Conocerlos te permite evaluar si los valores de esas empresas son compatibles con los tuyos.
- Separa las conversaciones sobre riesgo de las conversaciones sobre adopción. En muchas organizaciones, quienes impulsan la adopción de IA y quienes evalúan sus riesgos son los mismos. El marco Si-Entonces propone que la evaluación de riesgos sea independiente de la presión comercial. Ese principio aplica a cualquier escala.
- Construye capacidad institucional para evaluar, no solo para usar. El artículo identifica la evaluación de capacidades de IA como un campo emergente y esencial. Las organizaciones que desarrollen criterios propios para evaluar qué herramientas son adecuadas, y cuándo, estarán mejor posicionadas ante cualquier panorama regulatorio que venga.
- Apoya el desarrollo de regulación robusta. Los compromisos voluntarios son un punto de partida, no un destino. Como usuarios de IA, ciudadanos y organizaciones, podemos exigir marcos regulatorios que no dependan solo de la buena voluntad de los actores más comprometidos.
Una idea para recordar
La responsabilidad real en el desarrollo de IA no se demuestra solo con lo que se construye, sino con la voluntad de parar cuando las condiciones lo exigen. Un freno que existe de antemano vale infinitamente más que uno que se intenta instalar cuando ya no es posible detenerse.
¿Por qué los compromisos voluntarios de las empresas de IA son insuficientes a largo plazo?
Los compromisos voluntarios son un primer paso valioso para experimentar con marcos de gobernanza en una tecnología nueva y de rápida evolución. Sin embargo, tienen una limitación estructural: en mercados competitivos de alta apuesta, la presión hacia la aceleración puede superar la voluntad de pausa de incluso los actores más comprometidos. Si un competidor ignora los compromisos voluntarios y avanza más rápido, el actor responsable enfrenta la disyuntiva de adherirse a sus compromisos a costa de perder posición competitiva, o abandonar sus compromisos para mantenerse en la carrera.
El artículo de Carnegie lo señala con claridad: en el largo plazo, los compromisos voluntarios no son suficientes para mantener los riesgos bajo control. Serán necesarias regulación nacional y, probablemente, coordinación internacional. Los compromisos voluntarios actuales tienen valor principalmente como prototipos: permiten aprender qué funciona, construir consenso y generar la evidencia empírica que eventualmente informará regulación vinculante. El Instituto de Seguridad de IA del Reino Unido ya demostró la facilidad con que los modelos actuales pueden ser "jailbreakeados" para eludir sus salvaguardas, lo que subraya que las intenciones voluntarias no son garantía de protección real.
Fuente: UK AI Safety Institute — Advanced AI Evaluations, mayo 2024
¿Qué es la evaluación de capacidades de IA y por qué es central para la gobernanza?
La evaluación de capacidades de IA (AI capability evaluation o evals) es el conjunto de pruebas, experimentos y metodologías usados para determinar qué puede y qué no puede hacer un modelo de IA en áreas específicas, especialmente aquellas con implicaciones de riesgo. Su propósito en el contexto de gobernanza es identificar si un modelo ha alcanzado un umbral de capacidad que requiera medidas de protección adicionales antes de su despliegue público.
El campo de evaluaciones de capacidades de alto riesgo es, en palabras del propio artículo de Carnegie, "muy joven". Los enfoques actuales van desde pruebas de opción múltiple sobre conocimiento técnico hasta experimentos con equipos humanos expertos. Los equipos del Instituto de Seguridad de IA de EE.UU. (NIST) y el del Reino Unido son actores clave en este campo. Anthropic, OpenAI y Google DeepMind también publican en sus notas de modelo (model cards) los resultados de sus evaluaciones internas de riesgo. El desafío central es que siempre existe incertidumbre sobre si las evaluaciones reflejan con precisión las capacidades reales de un modelo, especialmente ante técnicas de elicitación avanzadas o modificaciones del modelo posteriores al despliegue.
¿Cómo protegen las empresas de IA los "pesos" de sus modelos y por qué es relevante para la seguridad?
Los pesos de un modelo de IA (model weights) son los parámetros internos que determinan cómo funciona el modelo: su "conocimiento" adquirido durante el entrenamiento. Si alguien obtiene acceso no autorizado a los pesos de un modelo avanzado, puede ejecutarlo sin las salvaguardas de seguridad originales, modificarlo para eliminar restricciones incorporadas, o usarlo para propósitos para los que no fue diseñado ni autorizado. Por eso, la seguridad de los pesos es un componente central de cualquier marco de gobernanza de IA responsable.
RAND Corporation publicó en 2024 directrices sobre los niveles de seguridad necesarios para proteger pesos de modelos avanzados frente a distintos tipos de actores, incluyendo servicios de inteligencia estatales. Tanto el Marco de Seguridad de Frontera de Google DeepMind como la Política de Escalado Responsable de Anthropic hacen referencia explícita a estas directrices en sus compromisos de seguridad. La lógica es que un modelo con salvaguardas robustas en su despliegue público sigue siendo vulnerable si sus pesos pueden ser extraídos y usados sin esas salvaguardas.
Fuente: RAND Corporation — Securing AI Model Weights, mayo 2024
¿Qué papel juegan los institutos de seguridad de IA en la gobernanza global?
Los institutos de seguridad de IA son organismos gubernamentales o asociados a gobiernos cuya función es desarrollar evaluaciones, estándares y orientaciones para el desarrollo seguro de la inteligencia artificial. Los más activos son el AI Safety Institute del Reino Unido (AISI) y el AI Safety Institute de Estados Unidos, bajo el Instituto Nacional de Estándares y Tecnología (NIST). Su rol en el ecosistema de gobernanza es proporcionar una evaluación independiente de los riesgos que no dependa de los incentivos comerciales de las empresas desarrolladoras.
En mayo de 2024, el AISI del Reino Unido publicó resultados de evaluaciones que demostraron la facilidad con que varios modelos avanzados pueden ser manipulados para eludir sus restricciones de seguridad. Este tipo de hallazgos independientes son esenciales para que los marcos regulatorios se construyan sobre evidencia real y no solo sobre las representaciones de las propias empresas. El artículo de Carnegie propone que estos institutos tienen un papel clave en articular recomendaciones sobre dónde deben establecerse los umbrales de pausa, con más ambición de reducción de riesgo de la que las empresas privadas voluntariamente adoptan.
¿Qué significa que un modelo de IA sea de "código abierto" y cuáles son sus implicaciones para la gobernanza?
Un modelo de IA de código abierto (open source) es aquel cuyos pesos — los parámetros que definen su funcionamiento — están disponibles públicamente. Esto tiene beneficios importantes: democratiza el acceso a la tecnología, acelera la investigación independiente y permite a investigadores estudiar los riesgos de IA sin depender del acceso controlado por las empresas. Sin embargo, también implica que cualquier persona puede modificar el modelo para eliminar sus restricciones de seguridad incorporadas, lo que hace que las salvaguardas de despliegue sean mucho más difíciles de mantener.
El marco Si-Entonces propone que un modelo que alcance ciertos umbrales de capacidad de alto riesgo no debería ser liberado como modelo abierto, independientemente de sus beneficios generales. Meta, la empresa más conocida por su compromiso con modelos abiertos, ha declarado que existen escenarios hipotéticos en los que no liberaría los pesos de un modelo por razones de seguridad, y está desarrollando sus propias líneas de no-publicación. Dieciséis empresas, incluyendo varios proponentes de modelos abiertos, firmaron compromisos en la Cumbre de IA de Seúl 2024 para desarrollar marcos de seguridad similares al Si-Entonces.
Fuente: UK Government — Frontier AI Safety Commitments, AI Seoul Summit 2024
Herramientas para tomar decisiones con criterio sobre la IA en tu organización
Si lideras un equipo o una organización que ya usa herramientas de IA y quieres construir criterios claros para evaluar cuándo usarlas, cuándo pausarlas y quién debe supervisarlas, el Kit Liderazgo Consciente ofrece un sistema asincrónico para incorporar gobernanza práctica y supervisión humana en entornos donde la IA ya está presente. Diseñado para líderes que quieren actuar con criterio antes de que los reguladores les exijan hacerlo.
Karine Boucher
Guardiana de la Humanidad Digital
Soy Karine, profesional franco-mexicana con más de 25 años de experiencia en entornos internacionales. Creé el Método SENSE para ofrecer lo que los marcos técnicos de gobernanza no dan: herramientas protectoras, claras y utilizables en la vida real — especialmente para familias y educadores.
Formada en Ciencia de Datos en el MIT y especializada en gobernanza de IA y ética aplicada. Creo que la pregunta más urgente de nuestro tiempo no es cómo usar mejor la IA, sino cómo seguir siendo humanos mientras lo hacemos.