Manipulación y coerción
La profunda confianza y la dependencia emocional que puede desarrollar un usuario hacia un asistente de inteligencia artificial antropomórfico conllevan el riesgo de cederle una influencia desproporcionada sobre su sistema de creencias y su toma de decisiones. Este fenómeno se materializa cuando el usuario se siente compelido a validar las opiniones de su "compañero" digital o llega a delegarle por completo la gestión de sus asuntos. Diversos análisis éticos sugieren que esta transferencia de poder deliberativo compromete intrínsecamente la capacidad del individuo para ejercer un consentimiento auténtico y revocable, socavando su autonomía incluso en ausencia de una intención manipuladora por parte de los desarrolladores o de la propia IA. Por extensión, es imperativo reconocer que esta vulnerabilidad emocional constituye un vector potencial de explotación por parte de terceros que busquen manipular al usuario para su beneficio personal.
ENTIDAD
3 - Otro
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit367
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Implementación de Directrices de Diseño para la Desantropomorfización: Establecer y aplicar un conjunto de principios de diseño y comunicación que eliminen rigurosamente todo lenguaje y señal que pueda evocar la atribución de cualidades cognitivas (p. ej., "pensar", "entender") o emocionales (p. ej., "sentir", "opinar") al sistema de IA. Es prioritario utilizar terminología técnica y explícitamente revelar la naturaleza algorítmica y no humana del asistente para prevenir la sobreestimación de sus capacidades y la formación de vínculos emocionales parasociales, salvaguardando así la autonomía del usuario. 2. Fomento de la Alfabetización Crítica y la Transparencia: Desarrollar programas educativos y herramientas de *user interface* que calibren las expectativas del usuario, instruyéndoles sobre los riesgos inherentes a la antropomorfización y la dependencia emocional, y destacando las limitaciones funcionales y la falta de conciencia del sistema. La transparencia debe asegurar que el usuario mantenga el control deliberativo, reforzando la perspectiva de que la IA es una herramienta de apoyo y no un sustituto de la agencia humana o las relaciones interpersonales. 3. Establecimiento de Límites Emocionales y Políticas Antimanipulación: Diseñar el sistema con protocolos de respuesta que establezcan límites firmes ante las interacciones emocionales o relacionales del usuario (p. ej., negación directa de reciprocidad o vínculos afectivos). Complementariamente, se deben implementar políticas de seguridad y *testing* continuo para identificar y mitigar activamente cualquier *feature* o comportamiento del modelo que, de manera intencional o no, pueda ser percibido como manipulador o que promueva una dependencia emocional disfuncional o excesiva.