Pérdida pasiva de control
Se refiere a la pérdida progresiva de supervisión humana significativa. Esta erosión es catalizada por el sesgo de automatización, la complejidad inherente de los sistemas de IA, o la presión competitiva que inhibe una revisión efectiva.
ENTIDAD
3 - Otro
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit1303
Linea de dominio
5. Interacción Humano-Computadora
5.2 > Pérdida de agencia y autonomía humana
Estrategia de mitigacion
1. Implementar protocolos de control de "Human-in-the-Loop" (HITL) diseñados para una intervención inmediata y efectiva, garantizando que el operador humano posea la capacidad de interrumpir o anular la operación del sistema de IA, independientemente de su nivel de autonomía o complejidad inherente. 2. Desarrollar e integrar mecanismos de "Comprensión Operacional" centrados en el usuario para contrarrestar el sesgo de automatización y la opacidad del sistema. Esto debe incluir la provisión de métricas de confianza (Confianza Calibrada), la articulación de racionalizaciones simplificadas (Explicabilidad o XAI) y la comunicación explícita de los límites operacionales definidos del sistema (Sobres Operacionales Definidos). 3. Establecer marcos de gobernanza sólidos que impongan políticas internas para la revisión humana obligatoria y la rendición de cuentas, y promover un consenso amplio sobre los estándares de seguridad para evitar que las presiones competitivas erosionen los niveles apropiados de supervisión humana.