Dependencia excesiva
Cuando un usuario deposita una confianza excesiva en un Modelo de Lenguaje Grande (LLM), se desarrolla una sobre-dependencia que puede desencadenar el sesgo de automatización. Esta sobre-dependencia se manifiesta en dos tipos de fallos críticos: los errores de omisión, donde el usuario opta por no verificar la validez de la respuesta, y los errores de comisión, en los que el usuario acepta y actúa basándose en la respuesta del LLM, incluso si esta contradice su propio conocimiento. Este riesgo se vuelve particularmente agudo en áreas donde el usuario carece de la pericia necesaria para escrutar rigurosamente las salidas del modelo. La peligrosidad inherente de los LLMs reside en su capacidad de generar racionalizaciones convincentes, aunque falsas o inexactas, lo que fomenta erróneamente la creencia de que el modelo posee la experticia relevante, validando así una respuesta potencialmente incorrecta
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1352
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Implementar programas de concientización y formación continua para educar a los usuarios sobre el sesgo de automatización (automation bias) y la falibilidad inherente de los Modelos de Lenguaje Grande (LLM). Es fundamental enfatizar la responsabilidad humana en la verificación de los resultados, especialmente en tareas de alta criticidad o cuando el usuario carece de experticia en el dominio. 2. Establecer protocolos rigurosos de validación de la salida (output) del LLM, que incluyan la integración de mecanismos técnicos como la verificación cruzada con fuentes de conocimiento confiables, o el uso de técnicas de autoconsistencia, para contrastar y filtrar respuestas inconsistentes, erróneas o plausiblemente falsas. 3. Diseñar la arquitectura de interacción con el LLM bajo un principio de Confianza Cero (Zero Trust) y exigir la supervisión humana (Human-in-the-Loop) obligatoria para las decisiones críticas. Esto garantiza que la acción final o la validación de la información sensible recaiga en un experto, mitigando los errores de omisión y comisión derivados de la dependencia excesiva.