Dependencia excesiva o insuficiente
En el ámbito de la toma de decisiones asistida por Inteligencia Artificial, el concepto de *dependencia* (reliance) mide la intensidad con la que una persona confía e implementa la salida o recomendación de un modelo. Este constructo es fundamental para la seguridad del sistema, ya que sus desviaciones generan riesgos específicos. El *exceso de dependencia* (over-reliance) se manifiesta cuando el usuario confía ciegamente en el algoritmo, aceptando su resultado incluso en escenarios donde la probabilidad de error del modelo es alta, lo cual representa un fallo en el juicio crítico humano. En contraste, la *falta de dependencia* (under-reliance) describe la situación inversa: el usuario ignora o rechaza una salida que, de hecho, es correcta y ofrecería un valor significativo. Equilibrar esta dependencia es esencial para optimizar el rendimiento humano-máquina.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1175
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. **Implementación de Arquitecturas de Transparencia Calibrada:** Diseñar el sistema de IA para que comunique de forma explícita y comprensible sus capacidades, limitaciones y el grado de certidumbre de sus predicciones. El objetivo principal es que el usuario desarrolle un *modelo mental realista* sobre el funcionamiento algorítmico, previniendo el *exceso de dependencia* derivado de la presunción de infalibilidad y facilitando la calibración adecuada de la confianza (HAX Guidelines 1, 2 y 11). 2. **Integración de Funciones de Forzamiento Cognitivo:** Incorporar elementos en la interfaz que activen la supervisión humana y el pensamiento crítico (*Signal to users when to verify*). Esto incluye la utilización de expresiones de incertidumbre, *friction* deliberada (como diálogos de confirmación obligatorios en decisiones de alto impacto) o la presentación de críticas algorítmicas que incentiven al usuario a cuestionar la salida antes de su aceptación o rechazo. 3. **Optimización de Ayudas para la Verificación Contextual:** Suministrar al usuario herramientas para minimizar el coste cognitivo de la revisión (*Facilitate verification*). Esto abarca la provisión de explicaciones rastreables y fuentes de datos primarias para el contenido generado, así como la visualización de métricas de fiabilidad (p. ej., Weight of Advice) que permitan al operador evaluar de manera eficiente la validez del resultado de la IA.