Volver al repositorio MIT
6. Socioeconómico y Ambiental1 - Pre-despliegue

Benchmarking (Contaminación de datos interlingüística)

El entrenamiento de Modelos de Lenguaje Grande (LLMs) con datos multilingües (como los extraídos de rastreos web) introduce un riesgo sutil pero significativo la contaminación oculta por traducción. Este fenómeno ocurre cuando un *benchmark* (un conjunto de pruebas estandarizadas para evaluar capacidades específicas) es traducido a otro idioma y, de forma inadvertida, se incorpora al conjunto de datos de entrenamiento del modelo. El proceso de traducción actúa como un velo que dificulta la detección de esta contaminación mediante métodos convencionales. La consecuencia directa es que el modelo obtiene puntuaciones elevadas, lo que genera una falsa sensación de seguridad sobre su capacidad de *generalización*. En esencia, el modelo no ha adquirido la habilidad que se busca medir, sino que ha memorizado las respuestas traducidas, conduciendo a una sobreestimación potencialmente peligrosa de su rendimiento real.

Fuente: MIT AI Risk Repositorymit997

ENTIDAD

1 - Humano

INTENCIÓN

2 - Involuntario

TIEMPO

1 - Pre-despliegue

ID del riesgo

mit997

Linea de dominio

6. Socioeconómico y Ambiental

262 riesgos mapeados

6.5 > Fallo de gobernanza

Estrategia de mitigacion

- Implementación de **benchmarks dinámicos y privados** con una estricta **separación temporal** (*temporal cutoff*) del *corpus* de entrenamiento, asegurando que el modelo nunca haya estado expuesto a los datos de evaluación, ni en su forma original ni traducida. - Aplicación de **métodos de detección basados en la generalización**, que evalúan la capacidad del modelo para responder a variaciones no memorizadas del *benchmark* (p. ej., alterando las opciones de respuesta), contrarrestando la contaminación oculta por traducción que evade la detección por solapamiento de texto. - **Reestructuración y refactorización** exhaustiva de los *benchmarks* de evaluación estáticos mediante **transformaciones semántico-preservantes** (p. ej., sustitución de sinónimos, reordenación sintáctica o *back-translation*) para deshabilitar la memorización basada en la forma superficial del texto.