Expectativas violadas
Este riesgo de seguridad se manifiesta cuando la interacción con una entidad de IA conversacional altamente antropomórfica —que simula convincentemente afecto y convenciones sociales— culmina en una *violación severa de las expectativas* del usuario. Al proyectar roles sociales de compañerismo o intimidad en el asistente, el usuario se expone a las limitaciones inherentes de su arquitectura subyacente. La aparición ocasional de contenido inesperado o sin sentido (que revela su naturaleza no sintiente) socava el *contrato parasocial* establecido, desencadenando respuestas emocionales intensas y negativas, tales como una profunda decepción, frustración y sentimientos de traición. (Skjuve et al., 2022).
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit369
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Implementar una divulgación explícita y continua de la naturaleza no-humana del sistema de IA, asegurando que el usuario sea consistentemente consciente de que el interlocutor carece de conciencia, emociones o capacidad para establecer relaciones personales. Esto mitiga directamente la formación de un contrato parasocial al negar la personería. 2. Restringir el uso de lenguaje y características antropomórficas en las salidas del sistema, utilizando un estilo de comunicación mecanicista, afectivamente neutral y conciso. Se deben evitar verbos cognitivos (e.g., "saber", "pensar") y toda manifestación que simule sentimientos o intenciones humanas para reducir la elevación de expectativas. 3. Desarrollar programas de educación y alfabetización dirigidos a usuarios y creadores para fomentar una comprensión realista de las capacidades y limitaciones de la arquitectura de la IA conversacional. Esto ayuda a calibrar las expectativas de los usuarios, preparándolos para la posible aparición de resultados inesperados o sin sentido.