Sesgo y equidad
La equidad se erige, con diferencia, como el problema más debatido en la literatura, manteniéndose como una preocupación fundamental, especialmente en el caso de los grandes modelos de lenguaje (LLMs) y los modelos texto-a-imagen. Esto surge de cómo los sesgos inherentes en los datos de entrenamiento se propagan a las salidas del modelo, causando efectos negativos como la perpetuación de estereotipos, el racismo, el sexismo, inclinaciones ideológicas o la marginación de minorías. Más allá de que la IA generativa tienda a manifestar una inclinación conservadora al replicar patrones sociales preexistentes, existe el riesgo adicional de reforzar estos sesgos al reentrenar nuevos modelos con datos sintéticos provenientes de versiones anteriores. Trascendiendo las cuestiones técnicas de la equidad, las críticas se extienden a la monopolización o centralización del poder en los grandes laboratorios de IA, impulsada por los sustanciales costos de desarrollo de modelos fundacionales. La literatura subraya también el problema del acceso desigual a la IA generativa, lo cual afecta particularmente a los países en desarrollo o a los grupos con restricciones financieras. A esto se suma el desafío de la comunidad investigadora de IA para asegurar la diversidad de su fuerza laboral. Finalmente, existen preocupaciones sobre la imposición de los valores embebidos en los sistemas de IA en culturas distintas de aquellas donde se originaron.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit70
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Implementación de una Curación de Datos Integral para la Representatividad Establecer protocolos rigurosos de curación y preprocesamiento de datos para garantizar que los conjuntos de entrenamiento posean una representatividad demográfica, geográfica y cultural diversificada. Esto debe incluir técnicas de re-ponderación o sobremuestreo para minorías, y la aplicación de Aumentación de Datos Contrafactual (CDA) con el fin de debilitar las correlaciones estereotípicas no deseadas inherentes a las fuentes de datos masivas. 2. Adopción de Algoritmos Sensibles a la Equidad y Técnicas de In-Processing Integrar restricciones de equidad directamente en el proceso de optimización del modelo mediante la selección de algoritmos sensibles a la imparcialidad (*Fairness-Aware Algorithms*). Esto puede lograrse utilizando métodos de desvío adversarial o introduciendo términos de regularización en la función de pérdida para minimizar métricas de sesgo específicas (como la igualdad de oportunidades) en las salidas generadas, promoviendo así la equidad intrínseca. 3. Establecimiento de un Marco de Gobernanza con Monitoreo y Auditoría Continua Diseñar un marco de gobernanza de la IA que mandate la transparencia, la explicabilidad y la supervisión humana (*Human-in-the-Loop*). Esto requiere la definición de métricas de equidad objetivas, la realización de auditorías de sesgo periódicas post-despliegue y el monitoreo continuo para identificar la desviación de sesgo (*bias drift*) y el impacto en distintos subgrupos de usuarios en tiempo real, asegurando un proceso de corrección iterativo y responsable.