Benchmarking (Contaminación de anotaciones)
El fenómeno de la contaminación por anotación describe la situación en la que un modelo de inteligencia artificial, durante su fase de entrenamiento, es expuesto a las "etiquetas" o soluciones esperadas del conjunto de datos que se supone debe utilizarse únicamente para la evaluación final (el *benchmark*). Esta exposición indebida permite que el modelo no aprenda a resolver el problema por sí mismo, sino que internalice o memorice la distribución de las respuestas correctas, lo que artificialmente sesga el rendimiento. Si a esto se le suma la contaminación directa de los datos brutos del conjunto de prueba (es decir, la fuga de los propios ejemplos de prueba al entrenamiento), la validez de cualquier evaluación queda totalmente comprometida. En esencia, la totalidad del conjunto de prueba se ha "filtrado" al modelo, impidiendo una medición objetiva de su capacidad genuina de generalización.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit999
Linea de dominio
6. Socioeconómico y Ambiental
6.5 > Fallo de gobernanza
Estrategia de mitigacion
1. Implementar protocolos rigurosos de segregación de conjuntos de datos. Mantener una estricta separación entre los conjuntos de entrenamiento, validación y prueba (benchmark), asegurando que el conjunto de prueba permanezca rigurosamente "retenido" (*held-out*) y no sea utilizado bajo ninguna circunstancia para la optimización de parámetros o hiperparámetros, con el fin de obtener una evaluación de rendimiento imparcial y representativa de la capacidad de generalización. 2. Desarrollar y emplear *benchmarks* dinámicos y resistentes a la contaminación. Crear de forma proactiva nuevas instancias de evaluación (p. ej., mediante generación algorítmica o evolución basada en grafos de conocimiento) que sean liberadas después de la fecha de corte del entrenamiento del modelo, garantizando que la evaluación mida la capacidad genuina del modelo y no la memorización de etiquetas o preguntas. 3. Establecer un proceso sistemático de auditoría y detección de fugas de datos (*data leakage*). Utilizar herramientas de detección de contaminación para escanear y verificar rigurosamente que ninguna muestra o etiqueta del *benchmark* se haya filtrado inadvertidamente al corpus de entrenamiento del modelo, mitigando la inflación artificial del rendimiento en las clasificaciones públicas.