Daños en la Interacción Humano-Computadora
Este concepto se refiere a los *perjuicios sistémicos* que surgen cuando los usuarios *malinterpretan la naturaleza* de los modelos de lenguaje. Estos daños se manifiestan específicamente a través de la *antropomorfización* del sistema (tratar a la IA como si tuviera intenciones, consciencia o cualidades humanas) y de la *sobreconfianza injustificada*, lo cual puede llevar a graves errores de juicio o a una dependencia inapropiada de sus resultados.
ENTIDAD
3 - Otro
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit248
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Implementar mecanismos de transparencia y diseño instruccional, como advertencias claras (disclaimers), experiencias de primera ejecución y el uso de expresiones de incertidumbre (e.g., resaltando tokens de baja probabilidad), para comunicar de forma explícita las capacidades, limitaciones y el carácter no humano del Modelo de Lenguaje. Esto es esencial para combatir la antropomorfización y el sesgo de automatización, fomentando un Modelo Mental Realista en el usuario. 2. Diseñar interfaces y flujos de interacción que activen funciones de forzamiento cognitivo (cognitive forcing functions) o fricción, tales como diálogos de confirmación o críticas de la IA, especialmente en tareas de alto riesgo o subjetivas, con el fin de calibrar la confianza del usuario. Adicionalmente, facilitar la verificación al disminuir la carga cognitiva, incluyendo fuentes, explicaciones y la trazabilidad del contenido generado. 3. Establecer un sistema de monitoreo continuo (telemetría) para rastrear métricas de sobreconfianza (como la tasa de aceptación de recomendaciones incorrectas) e identificar patrones de interacción insegura o parasocial. Los hallazgos de este monitoreo deben informar la asignación de responsables y la realización de revisiones periódicas para refinar y ajustar las estrategias de mitigación implementadas.
EVIDENCIA ADICIONAL
Esta sección se concentra en los riesgos que emanan de las tecnologías de lenguaje que interactúan con el usuario a través del diálogo, sistemas que se construyen sobre la base de Modelos de Lenguaje (MLs). Nos referiremos a estas herramientas como "agentes conversacionales" (ACs) (Perez-Marin y Pascual-Nieto, 2011), aunque en la literatura académica también son ampliamente conocidos como "sistemas de diálogo" (Wen et al., 2017). El análisis aborda riesgos críticos para la seguridad y la equidad, incluyendo: las vulnerabilidades psicológicas que estos sistemas podrían activar; los peligros derivados de la tendencia de los usuarios a "antropomorfizar" la tecnología, atribuyéndole conciencia o intención humana; los riesgos asociados a la función de recomendación que puedan ejercer; y, crucialmente, el daño representacional que se produce cuando un agente conversacional perpetúa estereotipos nocivos (como cuando se representa por defecto un "agente secretario" con atributos femeninos, reforzando un sesgo de género).