Envenenamiento de datos
El Envenenamiento de Datos (Data Poisoning) es un ataque que busca comprometer la integridad de un modelo de Inteligencia Artificial mediante la inyección deliberada de información maliciosa o corrupta en su conjunto de entrenamiento. De no ser mitigado, este proceso provoca que el sistema aprenda patrones incorrectos o desarrolle sesgos, manifestando un comportamiento no intencionado o dañino.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit884
Linea de dominio
2. Privacidad y Seguridad
2.2 > Vulnerabilidades y ataques a la seguridad del sistema de IA
Estrategia de mitigacion
1. Implementar un marco de Gobernanza de Datos que asegure la Trazabilidad y la Procedencia de los conjuntos de entrenamiento (Data Provenance), realizando una validación rigurosa y continua para identificar y sanear puntos de datos anómalos o sospechosos. 2. Aplicar el Principio de Mínimo Privilegio (Least Privilege) y controles de acceso robustos para restringir estrictamente la capacidad de modificación de los datos de entrenamiento y los repositorios del modelo a usuarios y sistemas autorizados. 3. Establecer una Monitorización Continua del rendimiento del modelo y sus salidas, utilizando técnicas de detección de anomalías y conjuntos de datos de referencia ("Golden Datasets") para identificar tempranamente cualquier manifestación de comportamiento no intencionado o degradación de la precisión. 4. Emplear el Entrenamiento Adversarial para exponer los modelos a escenarios de ataque simulados, mejorando su resiliencia y robustez contra futuras inyecciones de datos maliciosos.