Problemas de Seguridad de Software
El ecosistema de desarrollo de los Modelos de Lenguaje Grandes (LLM) es inherentemente complejo, lo que convierte cada etapa —desde la selección de datos hasta el despliegue— en un potencial vector de vulnerabilidad que podría comprometer la seguridad y fiabilidad del modelo final.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit19
Linea de dominio
2. Privacidad y Seguridad
2.2 > Vulnerabilidades y ataques a la seguridad del sistema de IA
Estrategia de mitigacion
1. Implementar una estrategia integral de seguridad de la cadena de suministro. Verificar la procedencia e integridad criptográfica de todos los componentes del modelo (incluidos los modelos base y pre-entrenados) y de los *datasets* utilizados para el ajuste fino. Esto incluye el rastreo de la trazabilidad de los datos, el saneamiento riguroso de las entradas y la detección proactiva de artefactos maliciosos o de envenenamiento de datos, como medida fundacional para proteger la fiabilidad del modelo. 2. Aplicar el principio de mínimo privilegio y aislamiento de ejecución. Aislar el entorno de ejecución del Modelo de Lenguaje Grande (LLM) de la infraestructura crítica mediante técnicas de contenedorización o aislamiento a nivel de función. Con ello se debe imponer un control de acceso estricto basado en roles (RBAC) para limitar la agencia del modelo y restringir sus capacidades y herramientas integradas (API, sistemas de archivos) a solo lo estrictamente necesario, minimizando el radio de afectación en caso de compromiso. 3. Establecer un programa riguroso de pruebas y validación adversarial. Ejecutar sistemáticamente ejercicios de *Red Teaming* y evaluaciones de seguridad a lo largo del ciclo de vida de desarrollo del software (SDLC) para identificar vulnerabilidades específicas del LLM, tales como inyecciones de *prompts* o filtraciones de información sensible. Además, se requiere implementar un proceso de validación continua de las entradas y salidas para detectar y mitigar comportamientos anómalos o maliciosos antes del despliegue.