Rendimiento inferior para algunos idiomas/grupos
La realidad es que los Modelos de Lenguaje (LMs) suelen estar entrenados en un número muy reducido de idiomas, lo que conlleva una disminución significativa de su rendimiento en el resto. Esta deficiencia se debe, en gran parte, a la escasez o ausencia de datos de entrenamiento. Por ejemplo, existen lenguas ampliamente habladas, como el javanés (con más de 80 millones de hablantes), para las cuales no se han realizado esfuerzos sistemáticos para generar conjuntos de datos de entrenamiento etiquetados. La ausencia de estos datos se acentúa en dos contextos clave: para comunidades que son multilingües y pueden recurrir al inglés para utilizar la tecnología, y para aquellos grupos lingüísticos que, sencillamente, no constituyen el objetivo demográfico primario de las nuevas tecnologías.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit209
Linea de dominio
1. Discriminación y Toxicidad
1.3 > Rendimiento desigual entre grupos
Estrategia de mitigacion
1. Aumento y Diversificación del Corpus de EntrenamientoImplementar técnicas de aumento de datos, como la *Counterfactual Data Augmentation (CDA)* o métodos de sobremuestreo (*e.g.*, SMOTE), enfocados en la curación activa de conjuntos de datos para incrementar significativamente la representación de lenguas, dialectos, sociolectos y grupos sociales previamente subrepresentados. Esto aborda la causa raíz del bajo rendimiento desigual al garantizar una base de conocimiento más equitativa y balanceada.2. Establecimiento de un Ciclo de Supervisión Continua (Human-in-the-Loop)Integrar un sistema robusto de monitoreo y auditoría que combine la evaluación automatizada y la **supervisión humana (Human-in-the-Loop - HITL)** a lo largo del ciclo de vida del modelo. Esto incluye la definición de métricas de sesgo y la creación de conjuntos de evaluación específicos (como el "Bias Golden Set") para medir de manera continua el rendimiento diferencial entre los distintos grupos, permitiendo una retroalimentación iterativa para la sintonización del modelo.3. Aplicación de Estrategias Algorítmicas de Ajuste de EquidadModificar el proceso de entrenamiento del modelo mediante la aplicación de técnicas de aprendizaje sensible al costo. Esto implica la **ponderación de clases (Class Weighting)** o el ajuste de la **función de pérdida (Weighted Loss Functions)** para asignar mayor importancia a los errores o predicciones desfavorables que afecten a los grupos lingüísticos con menor representación en el entrenamiento, compensando así el sesgo intrínseco hacia la clase mayoritaria.
EVIDENCIA ADICIONAL
La escasez de datos de entrenamiento es notable cuando una lengua particular, como el criollo seychelense [95], cuenta con poco texto digitalizado. Además, el rendimiento del modelo puede ser dispar dentro de un mismo idioma debido a la jerga, el dialecto, el sociolecto y otras variaciones internas [23]. Una causa fundamental de estos sesgos reside en la subrepresentación de ciertos grupos e idiomas en los corpus de entrenamiento. Esto impacta desproporcionadamente a comunidades marginadas, excluidas o menos registradas, un fenómeno que se ha denominado la «mayoría subrepresentada» (undersampled majority) [150].