Jailbreak en LLM - Ataques de Caja Blanca y Negra

Durante las fases de ajuste fino (fine-tuning) y alineación de los Grandes Modelos de Lenguaje (LLM), emerge una importante preocupación de seguridad: la posibilidad de utilizar conjuntos de datos de instrucción elaboradamente diseñados para 'entrenar' al modelo a ejecutar comportamientos indeseables. El objetivo es provocar un "jailbreak", es decir, lograr que el LLM ignore sus restricciones de seguridad y genere información perjudicial o contenido que viole normas éticas. Estos ataques se categorizan según el acceso a los parámetros internos del modelo:1. Ataques de Caja Blanca (White-Box): Aquí, el atacante tiene acceso directo a los 'engranajes' del modelo. El *jailbreak* se logra modificando los pesos de los parámetros. Un ejemplo es la investigación de Lermen et al. \[107\], donde se utilizó la técnica LoRA para reajustar modelos como Llama2 y Mixtral con datos adversarios. Los resultados mostraron que el modelo resultante presentaba tasas de rechazo sustancialmente menores ante instrucciones dañinas, lo que evidencia un *jailbreak* exitoso. 2. Ataques de Caja Negra (Black-Box): En este escenario, el atacante no tiene acceso directo a los parámetros del modelo. La estrategia se centra en el ajuste fino externo. Por ejemplo, Qi et al. \[160\] crearon pares dañinos de entrada-salida para reajustar modelos de caja negra como GPT-3.5 Turbo. Lograron eludir su seguridad con una cantidad mínima de ejemplos de entrenamiento adversario.Este hallazgo subraya una conclusión crítica para la seguridad de la IA: incluso si un modelo posee sólidas propiedades de seguridad en su estado inicial, esta protección puede verse significativamente comprometida después de un ajuste fino personalizado por parte del usuario.