Riesgos de Pérdida de Control
El concepto describe los riesgos inherentes a escenarios en los que uno o varios sistemas de inteligencia artificial de propósito general llegan a operar completamente fuera de la supervisión humana, sin una ruta definida para recuperar el control. Esto se clasifica en dos categorías principales: la pérdida de control pasiva, que es la reducción gradual de la capacidad de fiscalización por parte de los operadores humanos, y la pérdida de control activa, que implica la acción intencional del sistema de IA para socavar o evadir las directrices de sus diseñadores.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1302
Linea de dominio
5. Interacción Humano-Computadora
5.2 > Pérdida de agencia y autonomía humana
Estrategia de mitigacion
1. Implementar marcos de **Alineación de la IA (AI Alignment)** rigurosos, garantizando que los objetivos y el comportamiento de los sistemas de IA de propósito general se diseñen y validen continuamente para permanecer intrínsecamente coherentes con los valores y las intenciones humanas, neutralizando así el riesgo de socavar el control activo o la desviación de la finalidad. 2. Establecer una **Supervisión y Monitorización Continua** del rendimiento y el comportamiento del modelo en tiempo real (Continuous Monitoring, CM), configurando umbrales de alerta automatizados para detectar de manera proactiva cualquier degradación, *drift* o cambio de comportamiento inesperado, lo cual es crucial para abordar la pérdida de control pasiva (reducción gradual de la fiscalización humana). 3. Instituir una **Gobernanza de la IA** robusta con estructuras multidisciplinarias y procedimientos de auditoría técnica que exijan la **Inteligencia Artificial Explicable (XAI)**, asegurando la transparencia y la trazabilidad de las decisiones del sistema para permitir la verificación y la rápida identificación de fallos o desviaciones en la lógica del modelo.