Uso malicioso y abuso (generación de contenido sexual explícito)
Un ejemplo paradigmático del uso malicioso de la inteligencia artificial generativa es la producción de contenido sexual explícito sintético. Estas tecnologías permiten la creación de deepfakes, que consisten, por ejemplo, en superponer el rostro de una figura pública sobre el cuerpo de un intérprete en una producción de contenido para adultos.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit685
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.3 > Fraude, estafas y manipulación dirigida
Estrategia de mitigacion
1. Implementar protocolos rigurosos de prevención técnica en los modelos de IA generativa, incluyendo la aplicación de barreras semánticas (guardrails) que filtren de manera proactiva las solicitudes (prompts) y salidas (outputs) para contenido sexualmente explícito no consentido (NCII), así como la integración obligatoria de estándares de procedencia y autenticidad (como C2PA) para la identificación y trazabilidad del origen del contenido. 2. Establecer un marco regulatorio que imponga la responsabilidad legal a los desarrolladores y proveedores de modelos de IA, exigiéndoles la demostración de la aplicación de técnicas efectivas para prevenir la generación de contenido sexual digital no consensuado y la implementación de sistemas de monitoreo (Know-Your-Customer) para identificar y restringir el acceso a usuarios malintencionados. 3. Fortalecer el marco jurídico mediante la tipificación penal explícita de la creación, solicitud y difusión no consensuada de falsificaciones digitales sexuales (deepfakes), complementado con la introducción de vías de acción civil que permitan a las víctimas obtener compensación, órdenes de protección y la remoción expedita del material.