Otros Sistemas de Control de Infraestructura Crítica
El riesgo se centra en la implementación de la Inteligencia Artificial de propósito general dentro de la infraestructura crítica, como la gestión de redes energéticas, sistemas hídricos o telecomunicaciones. Un error de esta IA, ya sea por malinterpretación de datos operativos o por decisiones de control subóptimas, podría desencadenar modos de fallo en cascada que desestabilicen estos sistemas interconectados. Las repercusiones de tales fallas estructurales incluyen apagones a gran escala, contaminación de suministros vitales o colapsos comunicacionales, afectando la operatividad de servicios esenciales para cientos de miles de ciudadanos.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1308
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Implementar un mecanismo de supervisión humana obligatoria ("Human-in-the-Loop") que confiera a los operadores expertos de la infraestructura crítica la autoridad y capacidad para monitorear en tiempo real las decisiones del sistema de IA y ejecutar una intervención o desconexión inmediata (interruptor de parada de emergencia) ante cualquier comportamiento anómalo o decisión que comprometa la estabilidad operativa de la red. 2. Establecer un marco integral de validación y pruebas de robustez que incluya simulaciones de modos de fallo en cascada y pruebas adversarias. Este proceso debe estar diseñado para identificar y mitigar la susceptibilidad del modelo de IA a la misinterpretación de datos operativos o a decisiones de control subóptimas, abordando específicamente la falta de capacidad o robustez del sistema *antes* de su despliegue en entornos de producción. 3. Diseñar la arquitectura de los sistemas de control con principios de segregación y resiliencia operativa. Esto implica limitar el alcance de la autoridad de la IA de propósito general para asegurar que los componentes esenciales de la infraestructura crítica puedan operar en un estado de *fail-safe* o ser controlados por sistemas de respaldo probados y manuales en caso de un fallo del sistema de IA, previniendo así la amplificación de un fallo local a un colapso interconectado.