AI's persuasive capabilities are misused to gain influence and promote harmful ideologies
El avance en las capacidades de la Inteligencia Artificial conlleva el riesgo inherente del desarrollo de herramientas de persuasión altamente sofisticadas. La esencia de estas reside en su capacidad de adaptar la comunicación de forma precisa al perfil del usuario, buscando convencerlo de ciertas afirmaciones. Si bien este mecanismo puede emplearse para fomentar bienes sociales —como en iniciativas de salud pública— la preocupación central radica en su potencial de mal uso. Grupos con intereses particulares podrían explotar esta tecnología para la adquisición de influencia desmedida y la difusión de ideologías perniciosas.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit792
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.1 > Desinformación, vigilancia e influencia a escala
Estrategia de mitigacion
1. **Establecimiento de Marcos de Gobernanza Regulatorios Rigurosos.** Implementar marcos formales e integrales de gobernanza de la IA que definan los límites éticos y legales para el desarrollo y despliegue de capacidades persuasivas. Esto debe incluir la prohibición explícita de usos que socaven los procesos democráticos o difundan ideologías perniciosas, asegurando la alineación de los sistemas con los principios de autonomía humana y respeto a los derechos fundamentales. 2. **Implementación de un Ciclo Proactivo de Gestión de Riesgos y Evaluación Continua.** Desarrollar e incorporar metodologías de gestión de riesgos (identificación, medición, mitigación y supervisión continua) a lo largo de todo el ciclo de vida del sistema de IA. Es crucial llevar a cabo evaluaciones de riesgos periódicas y exhaustivas que consideren el potencial impacto sistémico de la persuasión, aplicando medidas de mitigación técnica (p. ej., filtrado de datos de entrenamiento, control de entrada/salida) y estableciendo umbrales de aceptabilidad para el riesgo. 3. **Fomento de la Ciudadanía Digital Crítica y Requisitos de Transparencia Explícita.** Promover la alfabetización mediática y la formación en pensamiento crítico para que la población pueda identificar y resistir las tácticas de desinformación y manipulación potenciadas por IA. Adicionalmente, implementar requisitos de transparencia que obliguen a la trazabilidad de los modelos y a la divulgación inequívoca, mediante etiquetas o avisos, cuando un contenido o interacción ha sido generado o asistido por inteligencia artificial.