Sesgo de automatización
Este fenómeno se refiere a la propensión humana a la dependencia excesiva de los sistemas de Inteligencia Artificial, aceptando sus resultados de forma acrítica y sin la debida diligencia de verificación, lo que socava el juicio experto y conduce a un deterioro en la calidad de la toma de decisiones.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit931
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Establecer e implementar marcos de gobernanza y supervisión robustos para los sistemas de IA, asegurando una auditoría continua y transparente de los algoritmos y los datos de entrenamiento para prevenir la codificación y amplificación de sesgos subyacentes, y garantizar que la IA se utilice solo como apoyo a la toma de decisiones críticas 2. Desarrollar programas de capacitación rigurosos para los operadores humanos, con el objetivo de calibrar adecuadamente la confianza en el sistema de IA. Esto debe enfatizar el desarrollo del pensamiento crítico, el juicio experto y la capacidad de cuestionar y anular las salidas automatizadas, posicionando al sistema como un asesor de confianza y no como un líder decisorio 3. Integrar principios de diseño técnico que promuevan la "supervisión humana en el ciclo" (Human-in-the-Loop) con puntos de control obligatorios. Esto incluye el desarrollo de estrategias de 'supresión de IA' que retiren automáticamente las recomendaciones del sistema con una alta probabilidad de ser engañosas o erróneas, obligando al usuario a recurrir a su propio juicio experto y a la verificación diligente