Benchmarking (Fuga o contaminación de datos)
La fuga de *benchmarks* o filtración de datos de evaluación se produce cuando un modelo de inteligencia artificial se entrena o ajusta con información que está intrínsecamente ligada al conjunto de datos de prueba destinado a su evaluación (el *benchmark*). Específicamente, si el modelo consume pares de pregunta-respuesta extraídos de ese *benchmark*, su rendimiento en las pruebas posteriores se vuelve sesgado e inflado. El resultado directo es una evaluación del modelo fundamentalmente no confiable, ya que el sistema no está demostrando una capacidad real de generalización, sino la simple memorización de las respuestas.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit995
Linea de dominio
6. Socioeconómico y Ambiental
6.5 > Fallo de gobernanza
Estrategia de mitigacion
1. Implementar una estricta segregación de los conjuntos de datos de entrenamiento, validación y prueba (train-test split), aplicando cualquier paso de preprocesamiento (como escalado o imputación) de manera aislada al conjunto de entrenamiento para evitar la contaminación cruzada. Para datos secuenciales o temporales, la división debe ser estrictamente cronológica. 2. Aplicar metodologías rigurosas de detección de fuga de datos o memorización, tales como el análisis de superposición n-gram, pruebas de perturbación del contexto/pregunta, o el análisis de la perplejidad del modelo en las muestras del benchmark, con el fin de identificar y descartar proactivamente los ítems contaminados. 3. Para garantizar la utilidad a largo plazo de los benchmarks, implementar un proceso de documentación y transparencia (ej. divulgación del uso de datos de benchmark en el corpus de entrenamiento). Adicionalmente, considerar el refuerzo continuo de los benchmarks mediante la reescritura de ítems contaminados como ejemplos contrafactuales.