Seguridad y Defensa
La IA podría propiciar incidentes de mayor gravedad al reducir significativamente el coste de diseñar ciberataques y al permitir una focalización más precisa de los mismos. El mismo error de programación o ataque malicioso podría replicarse de forma masiva en numerosas máquinas. Alternativamente, una única máquina podría reiterar la misma actividad errónea múltiples veces, lo que resultaría en una acumulación de pérdidas no anticipada, un fenómeno que subraya el riesgo de acumulación sistémica.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit591
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.2 > Ciberataques, desarrollo o uso de armas y daño masivo
Estrategia de mitigacion
1. Implementar una estrategia de seguridad integral que abarque la cadena de suministro y el ciclo de vida completo de la IA (desde el entrenamiento del modelo hasta el despliegue), complementada con sistemas de monitoreo continuo para la detección proactiva de patrones anómalos o desviaciones de rendimiento que puedan indicar una replicación masiva de un error o un ataque. 2. Fortalecer la robustez de los modelos de IA contra ataques adversarios (Adversarial ML Training), simulando escenarios de manipulación para mejorar la capacidad del sistema de resistir o mitigar entradas maliciosas y focalizadas, contrarrestando la reducción de costes en la concepción de ciberataques. 3. Aplicar una arquitectura de Confianza Cero (Zero Trust) a través de todos los entornos de la IA para limitar el acceso no autorizado y la propagación de incidentes, y establecer marcos de gobernanza que exijan una revisión humana y validación de las actividades críticas del sistema para prevenir una acumulación de pérdidas sistémicas.