A Propósito - Pre-Despliegue
Estos riesgos se agrupan bajo las vulnerabilidades inherentes a la cadena de suministro y desarrollo del software. En esencia, se identifican tres vectores de ataque primarios que comprometen la integridad de un sistema de IA antes de su implementación:1. La **Amenaza Interna o Sabotaje Malicioso**: Esta ocurre cuando personal con acceso privilegiado (desde desarrolladores y evaluadores hasta personal de soporte) introduce intencionalmente código malicioso o fallos en el software durante la fase de desarrollo. Esto compromete la seguridad y fiabilidad del sistema desde sus cimientos. 2. La **Intrusión Externa y el Robo de Código**: Implica el acceso no autorizado por parte de agentes externos (como grupos de hackers o agencias de inteligencia) a los proyectos en curso. Su objetivo es robar el código fuente, la propiedad intelectual, o modificarlo sutilmente para insertar vulnerabilidades o puertas traseras. 3. El **Envenenamiento de Datos (Data Poisoning)**: De especial relevancia en el ámbito de la IA, este vector consiste en alimentar deliberadamente los modelos de entrenamiento con conjuntos de datos falsos, sesgados o inseguros. El resultado es un entrenamiento defectuoso que, en última instancia, induce al sistema a generar resultados no confiables o comportamientos sistémicos peligrosos.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit575
Linea de dominio
2. Privacidad y Seguridad
2.2 > Vulnerabilidades y ataques a la seguridad del sistema de IA
Estrategia de mitigacion
1. **Prioridad Máxima**: Establecer un protocolo riguroso de validación y saneamiento de los conjuntos de datos de entrenamiento, aplicando técnicas de detección de anomalías y *data lineage* para asegurar la integridad, veracidad y trazabilidad de los datos utilizados en la fase de pre-despliegue, mitigando el riesgo sistémico del envenenamiento intencional (Data Poisoning). 2. **Prioridad Alta**: Implementar un modelo de controles de acceso basado en el principio de mínimo privilegio y una segregación estricta de funciones para el personal con acceso al código fuente. Esto debe complementarse con revisiones de código cruzadas y obligatorias (peer code reviews) para prevenir la introducción maliciosa de fallos o vulnerabilidades por parte de la amenaza interna. 3. **Prioridad Media**: Fortalecer la seguridad del ciclo de vida de desarrollo del software (DevSecOps) y los repositorios de código fuente mediante el cifrado avanzado y la realización de auditorías de penetración externas. Esto protege contra la intrusión no autorizada de agentes externos, el robo de propiedad intelectual y la inserción sutil de puertas traseras.