Finetuning (Finetuning dañino de modelos abiertos)

Estrategia de mitigacion

1. Implementar mecanismos técnicos robustos que dificulten significativamente la capacidad de actores maliciosos para realizar un ajuste fino (fine-tuning) sobre modelos con pesos abiertos con fines perjudiciales. Esto incluye investigar y desplegar estrategias que hagan que el ajuste fino para tareas dañinas sea tan ineficiente o costoso como el entrenamiento del modelo desde cero, preservando la estabilidad de los alineamientos de seguridad preexistentes 2. Desarrollar y aplicar metodologías de evaluación conductual (red-teaming) y pruebas de seguridad *post-ajuste fino* que excedan la mera evaluación de la tarea específica. Esto es crucial para detectar la *desalineación emergente* y la degradación involuntaria de las salvaguardas, comprobando la respuesta del modelo ante peticiones maliciosas o fuera del dominio previsto 3. Establecer un proceso de filtrado de datos riguroso en dos etapas: primero, en la curación de los datos de preentrenamiento para eliminar información que pueda ser explotada (e.g., síntesis química), y segundo, mediante la detección activa y el filtrado de cualquier dato de ajuste fino proporcionado por terceros que contenga patrones explícitos o sutiles para la generación de contenido dañino