Volver al repositorio MIT
2. Privacidad y Seguridad1 - Pre-despliegue

Envenenamiento de datos

El Envenenamiento de Datos (Data Poisoning) es un ataque que busca comprometer la integridad de un modelo de Inteligencia Artificial mediante la inyección deliberada de información maliciosa o corrupta en su conjunto de entrenamiento. De no ser mitigado, este proceso provoca que el sistema aprenda patrones incorrectos o desarrolle sesgos, manifestando un comportamiento no intencionado o dañino.

Fuente: MIT AI Risk Repositorymit884

ENTIDAD

1 - Humano

INTENCIÓN

1 - Intencional

TIEMPO

1 - Pre-despliegue

ID del riesgo

mit884

Linea de dominio

2. Privacidad y Seguridad

186 riesgos mapeados

2.2 > Vulnerabilidades y ataques a la seguridad del sistema de IA

Estrategia de mitigacion

1. Implementar un marco de Gobernanza de Datos que asegure la Trazabilidad y la Procedencia de los conjuntos de entrenamiento (Data Provenance), realizando una validación rigurosa y continua para identificar y sanear puntos de datos anómalos o sospechosos. 2. Aplicar el Principio de Mínimo Privilegio (Least Privilege) y controles de acceso robustos para restringir estrictamente la capacidad de modificación de los datos de entrenamiento y los repositorios del modelo a usuarios y sistemas autorizados. 3. Establecer una Monitorización Continua del rendimiento del modelo y sus salidas, utilizando técnicas de detección de anomalías y conjuntos de datos de referencia ("Golden Datasets") para identificar tempranamente cualquier manifestación de comportamiento no intencionado o degradación de la precisión. 4. Emplear el Entrenamiento Adversarial para exponer los modelos a escenarios de ataque simulados, mejorando su resiliencia y robustez contra futuras inyecciones de datos maliciosos.