Hoy Hablamos Sobre
IA Snake Oil: cómo distinguir entre promesas infladas y tecnología útil
Club de Lectura de IA Responsable
IA Snake Oil: cómo distinguir entre promesas infladas y tecnología útil
📚 ¿Por qué leerlo?
Si trabajas en formulación de políticas tecnológicas, derechos digitales o estás evaluando la implementación de IA en tu institución, este libro es tan oportuno como urgente. AI Snake Oil: What Artificial Intelligence Can Do, What It Can’t, and How to Tell the Difference, de Arvind Narayanan y Sayash Kapoor (Princeton University Press, 2024), se propone algo que escasea entre tanto hype: desinflar las falsas promesas sobre IA sin caer en catastrofismo, y ayudar a distinguir lo que sí funciona, lo que no, y lo que probablemente nunca funcionará.
Escrito por 2 de las personas seleccionadas en la lista TIME100 AI por su influencia en el debate ético sobre el desarrollo tecnológico, el texto ofrece una mirada crítica y documentada sobre cómo se construye y vende la ilusión algorítmica. El libro no es solo una denuncia: también propone herramientas conceptuales accesibles para fortalecer la alfabetización algorítmica en gobiernos, empresas y ciudadanía.
Narayanan y Kapoor abordan problemáticas esenciales: desde el uso de IA en educación, salud y justicia, hasta el debate por la automatización en moderación de contenidos, los riesgos de la IA generativa y los límites del sueño de una AGI (inteligencia artificial general). Todo esto sin perder de vista la pregunta política de fondo: ¿quién tiene el poder de definir qué IA se desarrolla y con qué propósito?
¿Qué enseña el concepto de “AI Snake Oil” sobre los límites reales de la inteligencia artificial?
El término “AI Snake Oil” —acuñado por el investigador Arvind Narayanan— advierte sobre promesas exageradas o falsas en torno a lo que la inteligencia artificial puede lograr. Mientras la IA tiene resultados comprobados en tareas bien definidas como reconocimiento de imágenes, traducción o predicción basada en datos, sigue siendo ineficaz o poco confiable en áreas que requieren comprensión del contexto, empatía o juicios de valor humanos. La clave está en distinguir entre automatización funcional y atribución de inteligencia.
Ejemplo: Un banco puede usar IA con gran precisión para detectar transacciones sospechosas (tarea predecible y medible), pero no debería usarla para evaluar la “honestidad” de un solicitante de crédito, ya que eso implicaría interpretar emociones o moralidad, algo que los modelos no comprenden de manera ética ni fiable.
Fuente: Arvind Narayanan – AI Snake Oil Lecture (Princeton University)
📚 ¿Por qué importa para IA responsable y gobernanza?
- Cuestiona la fe ciega en sistemas predictivos y modelos generativos no auditados, tema clave para una IA Responsable y explicable.
- Muestra ejemplos concretos de daños por uso acrítico de modelos, conectando con ética algorítmica, vigilancia automatizada y sesgo sistémico.
- Revela cómo se construye el hype desde gobiernos, medios, empresas y comunidad académica, lo que exige gobernanza multiactor y sinergia con marcos como el EU AI Act o la Recomendación de la UNESCO sobre Ética de la IA.
- Desmonta la idea del riesgo existencial como distracción que bloquea la regulación urgente frente a usos nocivos actuales, en línea con expertos como Virginia Dignum y Meredith Whittaker.
📚 5 ideas clave del libro
Estas son algunas ideas clave para repensar cómo adoptamos o rechazamos tecnologías de IA en el sur global:
- La mayoría de la tecnología llamada “IA” no entiende lo que hace. Detectar patrones no es hacer juicios, y sin contexto, la automatización tiende al error.
- Muchos sistemas son inútiles para lo que prometen, como el modelo predictivo de sepsis de Epic, que funcionaba apenas por encima del azar (63% de precisión).
- Existen daños reales ya documentados, como arrestos basados en IA de reconocimiento facial que identificaron erróneamente a ciudadanos afrodescendientes.
- La IA funciona gracias al trabajo humano invisible: etiquetado de datos, moderación de contenido, ajuste de modelos. Hay costos laborales y éticos ocultos.
- El “critihype” también es problema: críticas que sin querer refuerzan la idea de una IA todopoderosa, lo que perpetúa su fetichización en vez de promover gobernanza efectiva.
📚 Citas destacadas
“Deberíamos preocuparnos mucho más por lo que las personas harán con la IA que por lo que la IA hará por sí sola.” (p. 211)
“La meta de este libro es identificar 'snake oil' en IA y distinguirlo de tecnologías que sí pueden funcionar bien si se usan de manera adecuada.” (p. 6)
“Muchos creen que podemos evaluar un sistema de IA sin saber cómo fue entrenado. Eso es un error básico.” (p. 179)
📚 ¿Cómo aplicarlo en la práctica?
A partir del libro, puedes evaluar el despliegue de IA en tu organización con este checklist:
- ¿Sabes qué tipo de IA se está aplicando (predictiva, generativa, otras)?
- ¿Está documentado y auditado cómo se entrenó el modelo?
- ¿Hay métricas de precisión, error y sesgo públicas y contrastadas?
- ¿Conoces los posibles daños de falso positivo o negativo?
- ¿Existe trazabilidad y rendición de cuentas en tus sistemas?
📚 Pros y contras
El libro es útil como punto de partida, pero también tiene huecos importantes.
Pros: Expone con claridad los mitos que rodean a la IA, ilustra daños concretos, y propone preguntas críticas sin apelar al alarmismo. Su tono es ideal para tomadores de decisión sin formación técnica.
Contras: Ignora casi por completo la geopolítica de la IA, los contextos fuera de EE.UU. y Europa, y no profundiza en la concentración del poder tecnológico, crítica que autores como Gabriela Ramos y Edward Ongweso Jr. han planteado con fuerza.
📚 Recursos relacionados
Este libro se complementa con estos marcos y lecturas:
- NIST AI Risk Management Framework — Para organizaciones que quieren mapear y reducir riesgos de IA.
- EU AI Act — Primer marco legal con enfoque basado en riesgos sobre IA.
- UNESCO: Ética de la IA — Centra los derechos humanos en el diseño algorítmico.
- Sitio oficial del libro AI Snake Oil — Con artículos, actualizaciones y enlaces a conferencias de los autores.
📚 Propuestas de acción concretas
Acciones específicas inspiradas en el libro:
- Incluir cláusulas obligatorias de explicabilidad y auditabilidad en licitaciones de IA pública.
- Desarrollar capacidades estatales para auditar algoritmos en sectores sensibles como salud y justicia.
- Fomentar la alfabetización algorítmica en educación pública y formación de servidores públicos.
- Imponer registro obligatorio de modelos y datasets usados en servicios críticos.
- Coordinar comités interdisciplinarios que evalúen impacto social y ético antes del despliegue.
📚 Ficha técnica
Título: AI Snake Oil: What Artificial Intelligence Can Do, What It Can’t, and How to Tell the Difference
Autores: Arvind Narayanan y Sayash Kapoor
Editorial: Princeton University Press
Año: 2024
ISBN: 978-0-691-13529-3
📚 ¿Qué opinas tú?
¿Estás evaluando IA en tu organización o política pública local?
¿Te has topado con promesas infladas o decisiones basadas en algoritmos opacos?
¿Qué es el concepto de “AI Snake Oil” y por qué es importante entenderlo?
El término “AI Snake Oil”, popularizado por el investigador Arvind Narayanan de la Universidad de Princeton, se refiere a la venta o promoción de soluciones de inteligencia artificial que prometen capacidades que la tecnología actual no puede cumplir. Esta expresión alude a los “vendedores de aceite de serpiente” del siglo XIX, quienes ofrecían productos milagrosos sin evidencia científica. Comprender este concepto ayuda a separar los avances reales de la IA —basados en datos y tareas verificables— de la exageración comercial o mediática que puede inducir a errores éticos y financieros.
Ejemplo: Una empresa puede afirmar que su IA “predice la honestidad de los empleados” a partir de videos o voz. En realidad, no existe evidencia científica sólida que demuestre que un algoritmo pueda medir la moralidad humana. Este tipo de promesa entra en la categoría de AI Snake Oil.
Fuente: Arvind Narayanan – AI Snake Oil Lecture, Princeton University
¿Cómo diferenciar entre una aplicación legítima de IA y una promesa engañosa?
Una aplicación legítima de inteligencia artificial se basa en datos verificables, metodologías reproducibles y resultados medibles. En cambio, una promesa engañosa suele apoyarse en afirmaciones vagas o en capacidades humanas que la IA no posee, como la intuición o la empatía. Evaluar la validez de un sistema de IA implica revisar su documentación técnica, las métricas de desempeño y si ha sido auditado o evaluado externamente.
Ejemplo: Mientras un modelo de IA que clasifica radiografías para detectar neumonía puede ser validado con estudios médicos revisados por pares, otro que promete “detectar mentiras en entrevistas” carece de fundamento científico y entra en el terreno de la pseudociencia algorítmica.
¿Por qué algunos usos de la IA pueden considerarse pseudociencia o “AI Snake Oil”?
Algunos sistemas de IA se presentan como capaces de analizar rasgos humanos —emociones, intenciones, valores o personalidad— sin respaldo empírico. Estos usos tienden a simplificar fenómenos psicológicos complejos y a convertir correlaciones débiles en conclusiones absolutas. La pseudociencia algorítmica surge cuando el atractivo comercial supera la rigurosidad científica y ética, generando riesgos de discriminación, manipulación o daño social.
Ejemplo: Varias startups afirmaron que sus algoritmos podían predecir la orientación sexual o la confiabilidad de una persona a partir de fotografías, lo cual fue desmentido por la comunidad científica por falta de validez estadística y ética.
Fuente: UNESCO – Recomendación sobre la Ética de la Inteligencia Artificial (2021)
¿Qué sectores son más vulnerables al “AI Snake Oil” y cómo pueden protegerse?
Los sectores más expuestos son aquellos donde la confianza pública es clave: salud, educación, seguridad y recursos humanos. Estas áreas pueden verse tentadas a adoptar tecnologías que prometen “eficiencia” o “objetividad” sin pruebas suficientes. Para protegerse, las organizaciones deben exigir evidencia empírica, implementar auditorías de terceros y seguir marcos de gobernanza reconocidos internacionalmente, como la norma ISO/IEC 42001 o el marco de la OECD sobre IA confiable.
Ejemplo: Una universidad que utiliza IA para evaluar solicitudes de admisión debería garantizar que el modelo haya sido validado estadísticamente y auditado por sesgos, en lugar de confiar en afirmaciones comerciales sobre “neutralidad algorítmica”.
¿Qué principios éticos ayudan a evitar el “AI Snake Oil” en el desarrollo de sistemas de IA?
Evitar el AI Snake Oil requiere aplicar principios de ética tecnológica: transparencia, responsabilidad, equidad, trazabilidad y validación científica. Los desarrolladores deben comunicar claramente los límites de sus modelos y garantizar que las métricas de rendimiento sean interpretadas correctamente por usuarios y responsables de decisiones. La educación en alfabetización algorítmica también es clave para que las personas comprendan qué puede y qué no puede hacer la IA.
Ejemplo: Una empresa de recursos humanos que usa IA para reclutamiento puede incluir explicaciones visibles sobre cómo el modelo clasifica candidatos y permitir revisión humana de las decisiones, cumpliendo así con los principios de gobernanza responsable.
Quieres aprender más sobre la IA Responsable y Gobernanza de la IA, lee mis artículos de blog que he redactado para ti.
✅ Suscríbete a mi newsletter para recibir cada semana lo más relevante de la IA Responsable
Para cualquier duda que puedas tener, me puedes mandarme email a info@karine.ai, con mucho gusto te contestaré.
