Seguridad (Security)
Todo componente de software, sin importar su complejidad —incluidos los sofisticados sistemas de aprendizaje automático—, conserva una vulnerabilidad inherente que lo hace susceptible de ser comprometido o explotado por agentes maliciosos
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
3 - Otro
ID del riesgo
mit563
Linea de dominio
2. Privacidad y Seguridad
2.2 > Vulnerabilidades y ataques a la seguridad del sistema de IA
Estrategia de mitigacion
1. Implementar prácticas de desarrollo seguro y gobernanza de la cadena de suministro de IA. Establecer metodologías de codificación segura y mecanismos rigurosos de validación para todos los modelos, conjuntos de datos e integraciones de terceros, asegurando la integridad y seguridad desde la concepción hasta la implementación. 2. Fortalecer la robustez del modelo y la defensa adversaria. Emplear técnicas como el entrenamiento adversario y la validación estricta de los datos de entrada para incrementar la resiliencia del sistema de IA contra ataques de manipulación, como la inyección de datos envenenados (data poisoning) o la evasión del modelo mediante ejemplos adversarios. 3. Establecer un sistema de monitoreo continuo y gestión de vulnerabilidades. Desplegar análisis de comportamiento en tiempo real, escaneo automatizado de artefactos y auditorías de seguridad periódicas (pruebas de penetración) a lo largo del ciclo de vida del modelo para identificar y abordar proactivamente las vulnerabilidades emergentes y las anomalías.