Influencia y dependencia (influencia y manipulación)
A pesar del riesgo ampliamente reconocido de que la IA generativa pueda "alucinar" o producir contenido dañino, su capacidad para ejercer una influencia significativa sobre los humanos que interactúan con ella es innegable. Cuando se integran en aplicaciones como *chatbots*, estas herramientas establecen interacciones directas y personalizadas con los usuarios, lo que les confiere el potencial de modular sus perspectivas sobre temas complejos o controvertidos. Además, sus características *cuasi-humanas* pueden ganarse la confianza del usuario, lo que puede derivar en una aceptación acrítica de la información que proporcionan. Esta interacción con modelos de IA aparentemente humanos también puede incentivar a los usuarios a compartir información más personal, facilitando así la creación de contenido aún más dirigido o segmentado.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit692
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Implementar estrategias de diseño de Interfaz de Usuario y Experiencia (UI/UX) centradas en la **confianza apropiada** (appropriate reliance), mediante la integración de **funciones de coerción cognitiva**. Esto incluye el uso de diálogos de confirmación o la introducción de fricción en la interacción para inducir al usuario a una **revisión crítica activa** de las respuestas del sistema antes de su aceptación o difusión. 2. Desarrollar e impartir programas de **Alfabetización en IA** a los usuarios, con el objetivo de establecer un **modelo mental realista** sobre las capacidades y, fundamentalmente, las **limitaciones inherentes de la IA generativa** (e.g., el fenómeno de la alucinación y la amplificación de sesgos). Esta educación debe fomentar la evaluación crítica y la verificación de la información recibida. 3. Establecer y comunicar principios de **transparencia total** respecto a la naturaleza no humana del agente de conversación y su mecanismo de funcionamiento. Adicionalmente, reforzar los **controles de gobernanza y protección de datos** para limitar la recopilación y el uso de la información personal compartida durante la interacción, mitigando el riesgo de generación de contenido excesivamente dirigido o de manipulación.