Sesgo y discriminación (sesgo en datos de entrenamiento)
Los expertos en inteligencia artificial (IA) identifican de forma unánime que la fuente de sesgo más crucial en los modelos de IA generativa reside en sus datos de entrenamiento. Tomemos como caso el modelo GPT-2: sus datos se extrajeron a partir de enlaces externos de Reddit, una plataforma que ha sido frecuentemente señalada por contener material con tintes, por ejemplo, antifeministas.351 El resultado directo es que un modelo de IA formado sobre estas bases informacionales presenta una mayor probabilidad inherente de generar salidas y respuestas que reproducen o amplifican dichos sesgos.
ENTIDAD
3 - Otro
INTENCIÓN
2 - Involuntario
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit689
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Auditar y preprocesar rigurosamente los conjuntos de datos de entrenamiento para garantizar su diversidad, representatividad e integridad. Esto incluye emplear técnicas de balanceo como sobremuestreo, reponderación o el uso de datos sintéticos, con el fin de corregir desequilibrios demográficos e históricos que puedan reflejar prejuicios sociales preexistentes. 2. Implementar algoritmos conscientes de la equidad (fairness-aware algorithms) e incorporar métricas de justicia o restricciones éticas directamente en la función de optimización del modelo. Esto busca que el sistema minimice la disparidad de impacto y el error predictivo entre diferentes subgrupos protegidos, incluso a expensas de una ligera disminución en el rendimiento general. 3. Establecer auditorías éticas continuas y evaluaciones de impacto diferencial a lo largo de todo el ciclo de vida de la IA. Es fundamental involucrar a equipos de desarrollo interdisciplinarios y diversos, incluyendo expertos en ética y representantes de las comunidades potencialmente afectadas, para identificar y mitigar sesgos sistémicos que los métodos puramente técnicos no logren detectar.