Anthropomorphising systems can lead to overreliance or unsafe use
El riesgo central surge de la *antropomorfización* de los agentes conversacionales: la tendencia humana a percibir estos sistemas de inteligencia artificial como entidades con capacidades o cualidades análogas a las humanas. Este sesgo cognitivo resulta en una *sobrevaloración de sus competencias* por parte del usuario. Consecuentemente, se genera un nivel de *confianza y expectativa indebida* en el sistema. Este exceso de credulidad se materializa en riesgos de daño cuando los usuarios recurren al agente en *dominios sensibles* (por ejemplo, al solicitar orientación en salud mental o psicoterapia), donde una respuesta errónea puede desencadenar perjuicios secundarios o colaterales. Finalmente, la antropomorfización facilita la *cesión de control efectivo*. Los usuarios pueden llegar a confiar "a ciegas" en las predicciones del modelo, otorgándoles una autoridad desmedida y actuando en consecuencia sin la necesaria *reflexión crítica o supervisión humana*. Cuando el sistema genera una predicción factual o éticamente incorrecta, esta pérdida de control y vigilancia activa impide la mitigación del daño que de otra forma podría haberse prevenido.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit249
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Diseño de Transparencia y Desacoplamiento Ontológico: Implementar protocolos de comunicación obligatoria y persistente que clarifiquen la naturaleza estocástica del sistema (e.g., "Soy un modelo de lenguaje, no un ser consciente"), estableciendo límites funcionales claros. Esto incluye la inclusión de advertencias específicas contra la dependencia excesiva y el desincentivo activo del uso del agente en dominios de alto riesgo que requieran juicio humano, como la salud mental o asesoría legal. 2. Arquitectura de Supervisión Crítica Humana (Human-in-the-Loop): Incorporar puntos de control o *gates* en el flujo de trabajo donde el sistema requiera explícitamente la validación y el ejercicio del juicio crítico humano (reflexión crítica o supervisión efectiva) antes de que se autorice cualquier acción o decisión con consecuencias materiales o éticas significativas, mitigando así el sesgo de autoridad y la cesión de control. 3. Gobernanza del Uso Responsable y Evaluación Psicosocial: Establecer métricas y mecanismos de monitoreo para detectar patrones de interacción que sugieran una dependencia emocional o un uso sustitutivo de la interacción social humana. El diseño debe incluir contramedidas proactivas, como la limitación de la simulación afectiva y la provisión de referencias a apoyo profesional humano cuando se detecte un uso prolongado o inapropiado para fines emocionales.