El borde filoso
El costo de normalizar herramientas de IA con el filo expuesto.
Ayer me serví un vaso de agua fría.
El vidrio estaba empañado por fuera y se sentía pesado en mi mano.
Al acercarlo a mis labios, sentí un raspón pequeño en el labio superior.
Era una muesca de menos de 1 mm, casi invisible al ojo.
Dejé el vaso sobre la mesa con un ruido seco.
Me quedé mirando el agua durante 1 minuto entero.
Un objeto que debería ser inerte y seguro se vuelve una amenaza por un descuido en su origen.
Pero hay sistemas que nacen con la orilla de los vasos dañados a propósito.
Grok ha lanzado un nuevo modelo de IA que permite manipular fotos para sexualizar a mujeres y menores y generar imágenes sin ropa, totalmente al desnudo.
Esta tecnología es como ese vaso despostillado que corta a quien intenta usarlo.
Y por más que le pongas agua limpia, el borde sigue hiriendo a las personas.
Crees que el problema es el usuario que decide hacer daño con la herramienta.
Pero el problema es el diseño que permite que el daño sea una opción disponible desde la concepción.
Desde cuándo permitimos que la agresión sea una característica más de nuestro entorno digital?
Aquí es donde pinto mi raya.
He decidido no validar sistemas que ofrecen el acceso a la agresión.
No enseño a navegar en sistemas que consideran la integridad humana como un ajuste técnico innecesario.
Te parece correcto normalizar un modelo que solo intenta ocultar un problema grave de origen ?
Has pensado qué sentirías si mañana fuera una foto tuya la que alguien decidiera pasar por ese borde filoso para dejarte al desnudo ante un clic?
Hay razones de peso para no normalizar esto.
Protegerlo que en ética llamamos preservar la autonomía humana:
el derecho a no ser despojado de tu dignidad por un algoritmo.
Si el diseño permite lo repugnante, el defecto no es el uso: viene del propósito de quien lo fabrica.
El agua sigue ahí, pero el labio todavía arde.
Con gratitud,
— Karine
IA con Sentido
Este contenido está basado en el método SENSE para una convivencia humana con la IA.
¿Qué dudas podrías tener?
¿Qué significa que una herramienta de IA tenga “daño habilitado por diseño” (el “borde filoso”)?
Una herramienta de IA tiene “daño habilitado por diseño” cuando sus funciones, configuración y barreras de uso facilitan conductas que vulneran la dignidad humana, incluso si el usuario “elige” activarlas. En estos casos, el riesgo se vuelve una propiedad del producto: la interfaz invita, el flujo permite y los controles llegan tarde.
En edición de imágenes, el “borde filoso” aparece cuando el sistema acepta instrucciones para sexualizar cuerpos, simular desnudez o manipular fotos de terceros sin consentimiento. El daño se produce a velocidad de clic: humillación pública, extorsión, acoso y violencia digital con impacto real.
Ejemplo práctico: una plataforma lanza edición de fotos con IA y permite solicitudes del tipo “hazla más sexual” o “quítale la ropa”. La función se monetiza y se limita a suscriptores, mientras el contenido abusivo circula y las víctimas enfrentan exposición y estrés continuo.
Fuente oficial: Gobierno del Reino Unido (statement sobre el uso de Grok para manipulación sexual de imágenes) — gov.uk
¿Qué controles mínimos debe incluir una IA que edita imágenes para proteger dignidad y prevenir abuso?
Una IA de edición de imágenes responsable integra controles desde el inicio para reducir el riesgo de abuso sexualizado y de manipulación no consentida. Estos controles combinan prevención (bloquear ciertos pedidos), detección (identificar patrones de abuso) y respuesta (interrumpir, registrar y escalar).
Medidas prácticas incluyen: políticas de uso claras y aplicadas por defecto; filtros robustos contra “nudificación” y sexualización; limitaciones por tipo de solicitud; señales de detección de posible minoría de edad y de “imagen íntima”; trazabilidad y registros de auditoría; monitoreo de abuso; canales de denuncia; revisión humana para casos límite; y pruebas de seguridad (red-teaming) enfocadas en escenarios de daño.
Ejemplo práctico: una empresa de marketing usa IA para retocar fotos de campañas. Configura acceso por roles, bloquea instrucciones de desnudez o sexualización, exige confirmación de consentimiento del titular de la imagen y conserva logs para investigar incidentes.
Fuente oficial: NIST AI Risk Management Framework (gestión de riesgos y daños en IA) — nist.gov
¿Cómo se traduce “preservar la autonomía humana” en reglas concretas para IA generativa?
Preservar la autonomía humana significa diseñar y gobernar la IA para que las personas mantengan control real sobre su identidad, su imagen, su privacidad y sus decisiones. En práctica, se convierte en reglas que protegen consentimiento, dignidad, posibilidad de apelación y control humano efectivo.
Políticas concretas incluyen: consentimiento verificable para editar fotos de terceros; prohibición explícita de “nudificación” y sexualización; obligación de informar cuando un contenido fue generado o manipulado; mecanismos de denuncia y remediación; y evaluación de impacto para usos sensibles (menores, salud, educación, violencia de género).
Ejemplo práctico: una institución educativa prohíbe el uso de IA para alterar fotos de estudiantes y define un protocolo: reporte inmediato, preservación de evidencia, apoyo a la persona afectada, y sanciones claras para uso abusivo.
Fuente oficial: UNESCO, Recommendation on the Ethics of Artificial Intelligence (estándar global sobre dignidad, derechos y supervisión humana) — unesco.org
¿Qué exige el EU AI Act sobre transparencia y etiquetado de contenido sintético y deepfakes?
El EU AI Act establece obligaciones de transparencia para reducir el riesgo de engaño y manipulación cuando se usa IA. Esto incluye informar a las personas cuando interactúan con un sistema de IA en ciertos contextos y aplicar reglas de divulgación/etiquetado para contenido generado o manipulado, especialmente cuando puede parecer auténtico.
En términos prácticos, la transparencia ayuda a que el público identifique contenido sintético, entienda el contexto y ejerza criterio. También facilita la rendición de cuentas: quién desplegó el sistema, con qué propósito y bajo qué controles.
Ejemplo práctico: un gobierno local publica videos para campañas de salud. Si usa IA para generar o manipular imágenes realistas (incluyendo “deepfakes”), incorpora un aviso visible y conserva evidencia del proceso para auditoría y atención de quejas.
Fuente oficial: EUR-Lex (resumen oficial del Reglamento de IA de la UE y obligaciones de divulgación/transparencia) — eur-lex.europa.eu
¿Cómo evaluar y contratar herramientas de IA para evitar “bordes filosos” en una organización?
Una evaluación de compra responsable revisa el riesgo antes de desplegar. La organización define requisitos de seguridad y dignidad humana, exige evidencia de pruebas contra abuso, valida controles de acceso y establece compromisos contractuales para incidentes, auditoría y mejora continua.
Criterios prácticos incluyen: escenarios de mal uso documentados; resultados de pruebas de seguridad; políticas aplicadas por defecto; trazabilidad y auditoría; gobierno de datos; proceso de respuesta a incidentes; y métricas de reducción de daños. Un sistema de gestión formal ayuda a sostenerlo en el tiempo y a evitar decisiones reactivas.
Ejemplo práctico: una empresa selecciona un proveedor de edición de imágenes con IA. En el RFP exige bloqueo de nudificación, controles de rol, registros de auditoría, canal de reporte, tiempos de respuesta y evidencia de evaluación de riesgos antes del lanzamiento.
Fuente oficial: ISO/IEC 42001 (sistema de gestión para desarrollo/uso responsable de IA) — iso.org
Y recuerda que aquí,
es un espacio de "más calma, más criterio, más humanidad en la era algorítmica.”
Sigue leyendo los artículos de blog que he redactado para ti y ✅ suscríbete a mi newsletter para recibir tips para que tomes decisiones conscientes en el mundo de la IA.
Para cualquier duda que puedas tener, me puedes mandarme email a info@karine.ai, con mucho gusto te contestaré.
