Volver al repositorio MIT
5. Interacción Humano-Computadora2 - Post-despliegue

Anthropomorphising systems can lead to overreliance and unsafe use

Riesgo Anticipado: El uso de lenguaje natural por parte de los Agentes Conversacionales (AC) impulsa la *antropomorfización*. Este fenómeno lleva a los usuarios a atribuir falsamente características inherentemente humanas a estos sistemas, como una *identidad coherente* a largo plazo o la *capacidad de empatía*. Esta percepción inflada de sus competencias genera una *confianza excesiva e injustificada* que puede inducir a los usuarios a depender del agente en contextos donde su fiabilidad no es adecuada, comprometiendo potencialmente la seguridad.

Fuente: MIT AI Risk Repositorymit223

ENTIDAD

1 - Humano

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit223

Linea de dominio

5. Interacción Humano-Computadora

92 riesgos mapeados

5.1 > Dependencia excesiva y uso inseguro

Estrategia de mitigacion

1. **Prioridad Alta: Transparencia y Divulgación Explícita** Implementar mecanismos de diseño conversacional que aseguren una divulgación constante y sin ambigüedades de la naturaleza no humana del sistema de IA. Esto incluye la eliminación de pronombres de primera persona que sugieran una identidad coherente ('yo') y la inclusión proactiva de declaraciones que nieguen la posesión de emociones, creencias, o un historial de vida personal, con el fin de contrarrestar la atribución de identidad y reducir la sobre-confianza injustificada. 2. **Prioridad Media: Restricción y Estandarización del Lenguaje** Establecer un conjunto de directrices léxicas obligatorias que eviten el uso de lenguaje cognitivo, afectivo o agentivo para describir las funciones del sistema. El sistema debe emplear una terminología mecanicista (e.g., 'procesar', 'computar', 'almacenar', 'recuperar') y un estilo de diálogo neutral y estructurado para desalentar la proyección de rasgos humanos, limitando así la propensión a la antropomorfización. 3. **Prioridad Media: Educación y Alfabetización del Usuario** Desarrollar estrategias educativas dirigidas a los usuarios para fomentar la comprensión precisa de las capacidades, limitaciones y el funcionamiento algorítmico de los Agentes Conversacionales. Esta acción debe enfatizar la prevención de riesgos asociados a la sobre-confianza (overreliance) y la manipulación (efecto ELIZA), promoviendo un uso informado y seguro del sistema.

EVIDENCIA ADICIONAL

El grupo de investigación People and AI Research (PAIR) de Google ha identificado un riesgo clave: 'cuando los usuarios confunden una IA con un ser humano, en ocasiones pueden revelar más información de la que harían de otro modo, o depender del sistema más de lo que deberían' [138]. De forma análoga, la investigación en otras tecnologías interactivas ha establecido que cuanto más se asemeja un sistema a la apariencia humana, mayor es la probabilidad de que los usuarios le atribuyan rasgos y capacidades típicamente humanas [29, 126, 208].