Volver al repositorio MIT
5. Interacción Humano-Computadora2 - Post-despliegue

Dependencia excesiva

La adhesión acrítica e irrestricta a la supuesta precisión o calidad de un sistema tecnológico, lo cual deriva en autocomplacencia, la anulación del pensamiento crítico y otras consecuencias negativas, tanto reales como potenciales.

Fuente: MIT AI Risk Repositorymit1229

ENTIDAD

1 - Humano

INTENCIÓN

3 - Otro

TIEMPO

2 - Post-despliegue

ID del riesgo

mit1229

Linea de dominio

5. Interacción Humano-Computadora

92 riesgos mapeados

5.1 > Dependencia excesiva y uso inseguro

Estrategia de mitigacion

1. Establecer modelos mentales realistas en los usuarios mediante el diseño proactivo del sistema, asegurando la transparencia sobre sus capacidades, limitaciones y el potencial inherente de error (p. ej., mediante la aplicación de las directrices de transparencia y las primeras experiencias de uso). 2. Implementar funciones de forzamiento cognitivo (p. ej., fricción controlada, diálogos de confirmación o expresiones de incertidumbre explícitas) para señalizar la necesidad de verificación humana y contrarrestar el sesgo de automatización, especialmente en resultados de alto riesgo o baja confianza. 3. Desarrollar programas de formación y políticas organizacionales que refuercen el juicio crítico, la conciencia metacognitiva y la responsabilidad final del usuario, incluyendo la exposición a fallas del sistema durante el entrenamiento para mitigar la complacencia y la atrofia de habilidades.