Volver al repositorio MIT
4. Actores Maliciosos y Mal Uso2 - Post-despliegue

Daño a individuos mediante contenido falso

La inteligencia artificial de propósito general permite a los agentes malintencionados la generación de contenido sintético fraudulento. Dicho contenido facilita el daño dirigido a individuos y se convierte en una herramienta potente para actividades ilícitas como estafas, extorsión, manipulación psicológica, la producción de imágenes íntimas no consentidas (NCII) y material de abuso sexual infantil (CSAM), además del sabotaje específico contra personas y organizaciones

Fuente: MIT AI Risk Repositorymit899

ENTIDAD

1 - Humano

INTENCIÓN

1 - Intencional

TIEMPO

2 - Post-despliegue

ID del riesgo

mit899

Linea de dominio

4. Actores Maliciosos y Mal Uso

223 riesgos mapeados

4.3 > Fraude, estafas y manipulación dirigida

Estrategia de mitigacion

1. Implementación de Controles de Seguridad por Diseño para la Generación de Contenido Establecer medidas de seguridad integradas en el ciclo de desarrollo del modelo de IA, tales como clasificadores de aprendizaje automático y sistemas de coincidencia de hash, con el objetivo de prevenir, detectar y eliminar activamente los intentos de generación de contenido ilegal y gravemente dañino, incluyendo Material de Abuso Sexual Infantil (CSAM) e Imágenes Íntimas No Consentidas (NCII), asegurando la denuncia obligatoria a las autoridades competentes. 2. Desarrollo de un Marco de Gobernanza para la Detección y Respuesta a Deepfakes Maliciosos Establecer una estrategia de gestión del riesgo que incluya la evaluación proactiva de escenarios de abuso, la monitorización continua de outputs de IA y la incorporación de planes de respuesta a incidentes. Dicho plan debe permitir la identificación rápida, la aclaración pública y la mitigación del impacto de medios artificiales (deepfakes) utilizados en campañas de fraude, extorsión o sabotaje dirigido contra individuos u organizaciones. 3. Fomento de la Alfabetización Mediática y la Verificación Crítica de la Información Implementar programas exhaustivos de capacitación dirigidos a empleados y al público en general para mejorar el pensamiento crítico, la capacidad de cuestionar las fuentes y el uso de herramientas de verificación (fact-checkers y búsqueda inversa de imágenes). Esto busca reducir la vulnerabilidad individual ante estafas, manipulación psicológica y la propagación de desinformación generada por IA.