Seguridad (Security)
Este ámbito aborda las vulnerabilidades inherentes a los sistemas de Inteligencia Artificial que comprometen su capacidad para mantener la tríada esencial de la ciberseguridad: la Integridad, la Disponibilidad y la Confidencialidad. Una brecha de seguridad en este contexto puede resultar en un perjuicio significativo, abarcando desde una toma de decisiones profundamente errónea por parte del sistema hasta la exfiltración masiva de datos sensibles. Una preocupación crítica radica en la fuga o divulgación de los 'pesos' o parámetros internos del modelo de IA, un suceso que, al revelar su estructura fundamental, tiene el potencial de intensificar exponencialmente la gravedad de otras áreas de riesgo asociadas.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit166
Linea de dominio
2. Privacidad y Seguridad
2.2 > Vulnerabilidades y ataques a la seguridad del sistema de IA
Estrategia de mitigacion
1. Priorizar la confidencialidad de los modelos de IA mediante la centralización y restricción de acceso a los 'pesos' y parámetros internos. Esto debe complementarse con la implementación de cifrado robusto de extremo a extremo para los datos en reposo y en tránsito, y la aplicación rigurosa de políticas de mínimo privilegio y autenticación multifactor (MFA) para todas las interfaces de acceso. 2. Fortalecer la integridad de los sistemas contra ataques adversarios y la manipulación de datos. Se requiere la validación exhaustiva de los conjuntos de datos de entrenamiento (data poisoning) y el uso de técnicas de *adversarial training* para mejorar la robustez del modelo. Adicionalmente, se deben establecer guardarraíles de seguridad y mecanismos de sanitización en el *prompt* para mitigar ataques de inyección y manipulación de la entrada. 3. Establecer un marco de gobernanza de seguridad de IA integral que incluya un inventario actualizado de todos los modelos y aplicaciones, la detección proactiva de "Shadow AI" y la implementación de soluciones de monitoreo de seguridad específicas para IA (AI-specific security solutions) que realicen análisis conductual en tiempo real para detectar patrones de consulta anómalos o intentos de extracción de modelos.