Modelos generando código con vulnerabilidades
El riesgo fundamental radica en que los Modelos de Lenguaje Grande (LLM) son capaces de generar código o sugerencias de código que intrínsecamente contienen vulnerabilidades de seguridad. Es un hallazgo de particular relevancia que esta propensión a producir código inseguro se mantiene e incluso se exacerba en las familias de modelos más avanzados; aquellos que demuestran un rendimiento superior en tareas de codificación presentan, paradójicamente, una tendencia aún más marcada a incorporar fallos de seguridad.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1070
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. IMPLEMENTACIÓN DE UN CICLO DE VIDA DE DESARROLLO SEGURO (SDLC) PARA CÓDIGO GENERADO POR LLM Establecer la obligatoriedad de tratar el código producido por Modelos de Lenguaje Grande (LLM) como datos no confiables y aplicar rigurosos controles de seguridad, incluyendo el Análisis Estático de Seguridad de Aplicaciones (SAST) y la revisión por pares, dentro del flujo de trabajo de DevSecOps, con el fin de detectar y remediar vulnerabilidades de seguridad de manera proactiva e integrada. 2. ASEGURAMIENTO DEL ENTORNO DE EJECUCIÓN MEDIANTE SANDBOX Y MÍNIMO PRIVILEGIO Limitar el riesgo de explotación de vulnerabilidades inadvertidas ejecutando cualquier código generado en entornos de "sandbox" aislados con los permisos mínimos necesarios. Esto minimiza el vector de ataque y restringe el potencial impacto de un fallo de seguridad en los sistemas subyacentes. 3. CAPACITACIÓN ESPECIALIZADA Y ADHESIÓN A POLÍTICAS DE CODIFICACIÓN SEGURA Desarrollar y aplicar directrices de codificación segura específicas para el uso de asistentes de IA, asegurando que los desarrolladores posean la pericia necesaria para identificar y rectificar activamente las vulnerabilidades introducidas por los modelos, manteniendo la responsabilidad humana sobre la integridad final del código.