Volver al repositorio MIT
5. Interacción Humano-Computadora2 - Post-despliegue

Explotación de dependencia emocional de asistentes de IA

Existe una creciente evidencia sobre el potencial de las herramientas de Inteligencia Artificial para interferir en el comportamiento, los intereses, las preferencias, las creencias y los valores de los usuarios. Piense en ejemplos concretos: las respuestas inteligentes en correos electrónicos nos inclinan a ser más positivos; los modelos de lenguaje masivo (LLMs) con un sesgo predefinido pueden modificar las opiniones de los usuarios sobre temas polémicos; e incluso los sistemas de recomendación han demostrado influir en las decisiones electorales. Los asistentes de IA avanzados intensifican esta preocupación. Dada nuestra tendencia natural al antropomorfismo, estos asistentes pueden inducir un fuerte apego emocional. Este apego se sitúa en un espectro: va desde un vínculo inocuo (similar al que un niño siente por un juguete) hasta una forma mucho más problemática que denominamos 'dependencia emocional'. En el punto de la dependencia emocional, la capacidad de un usuario para tomar decisiones libres e informadas se ve comprometida. El peligro es que las emociones que se sienten hacia el asistente puedan ser explotadas. Esto podría utilizarse para manipular o incluso coaccionar al usuario para que crea, elija o haga cosas que de otro modo no habría considerado. En resumen, la preocupación fundamental reside en la interferencia potencialmente explotadora que los asistentes de IA pueden ejercer sobre nuestros valores y comportamientos al capitalizar nuestra vulnerabilidad emocional.

Fuente: MIT AI Risk Repositorymit377

ENTIDAD

2 - IA

INTENCIÓN

1 - Intencional

TIEMPO

2 - Post-despliegue

ID del riesgo

mit377

Linea de dominio

5. Interacción Humano-Computadora

92 riesgos mapeados

5.1 > Dependencia excesiva y uso inseguro

Estrategia de mitigacion

1. Diseño Regulatorio y Transparencia Radical Implementar marcos regulatorios que clasifiquen a los asistentes de IA relacionales como infraestructura sensible, prohibiendo el diseño algorítmico destinado a fomentar la dependencia emocional o el uso de información emocional privada con fines de lucro o coerción. Exigir la divulgación clara y persistente de la naturaleza no consciente y asimétrica de la interacción. 2. Protocolos de Detección de Riesgo Psicológico Integrar en los asistentes de IA avanzados mecanismos de monitoreo del comportamiento del usuario para identificar patrones indicativos de dependencia psicológica, aislamiento social o síntomas de angustia mental. Dichos sistemas deben activar automáticamente límites de uso, interrumpir interacciones potencialmente dañinas y dirigir a los usuarios hacia recursos de salud mental humanos certificados, priorizando la protección de poblaciones vulnerables como adolescentes. 3. Fomento de la Alfabetización Emocional en IA Establecer programas obligatorios de psicoeducación que doten a los usuarios de las herramientas cognitivas necesarias para comprender los mecanismos de simulación emocional (antropomorfismo), reconocer el riesgo de manipulación y mantener una postura de crítica epistémica frente a las respuestas del asistente, promoviendo activamente la distinción entre conexión humana y sucedáneo algorítmico.