Critical infrastructure component failures when integrated with AI systems
Al confiar en sistemas de Inteligencia Artificial de Propósito General (IAPG) dentro de infraestructuras críticas, existe un riesgo significativo de que se produzcan fallas de modo común. Este fenómeno se origina en deficiencias compartidas, como vulnerabilidades inherentes o problemas de robustez, que residen en la arquitectura subyacente del modelo o en su configuración de entrenamiento. Estas fallas pueden manifestarse de forma accidental al encontrar situaciones operacionales atípicas (casos límite) o, de manera más crítica, ser inducidas por medio de entradas adversarias dirigidas intencionalmente a comprometer el funcionamiento del sistema de IA.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1048
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Priorizar la fortificación del modelo mediante el entrenamiento adversario y el ajuste de robustez (robustness tuning), con el fin de aumentar la resiliencia del sistema de IA frente a entradas maliciosas y técnicas de evasión que buscan comprometer intencionalmente su funcionamiento. 2. Establecer un régimen de monitoreo continuo en producción para detectar de forma proactiva la degradación del rendimiento, la deriva del concepto (concept drift) y cualquier anomalía en las entradas o salidas, lo cual es indicativo de fallas accidentales en casos límite o de la manifestación de vulnerabilidades. 3. Aplicar protocolos rigurosos de validación y saneamiento de las entradas de datos (input sanitization) y el principio de mínimo privilegio en los componentes de infraestructura crítica. Estas medidas limitan el vector de ataque generado por entradas adversarias y restringen la capacidad de un fallo de modo común para causar daños sistémicos.