Riesgos de sesgo y subrepresentación
Los sistemas de Inteligencia Artificial (IA) de propósito general exhiben un riesgo inherente: sus resultados e impactos pueden manifestar sesgos sistémicos que afectan negativamente a diversos aspectos de la identidad humana, incluyendo raza, género, cultura, edad y discapacidad. Esta parcialidad genera una preocupación crítica en ámbitos de alta sensibilidad social, como son la atención sanitaria, los procesos de contratación laboral y la concesión de servicios financieros. El origen fundamental de este fenómeno se encuentra en el proceso de entrenamiento, donde estos modelos se nutren predominantemente de conjuntos de datos de lenguaje e imagen que sobrerrepresentan a las culturas occidentales y de habla inglesa. Como consecuencia directa, se incrementa el potencial de daño y discriminación hacia aquellas poblaciones o individuos cuya diversidad no está reflejada adecuadamente en dicha data.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit728
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Refuerzo de la Representatividad y la Calidad del Dato de Entrenamiento Auditar exhaustivamente los conjuntos de datos utilizados para el entrenamiento de los sistemas de IA, con el fin de garantizar la representatividad cultural, demográfica y lingüística de todas las poblaciones a las que se aplicará el modelo. Esto implica implementar técnicas de preprocesamiento, como el remuestreo o la ponderación de datos, para corregir desequilibrios estadísticos y mitigar sesgos de selección y subrepresentación en la etapa inicial del ciclo de vida. 2. Integración de Mecanismos de Equidad Algorítmica Aplicar activamente técnicas de modelado conscientes de la equidad ('fairness-aware algorithms') e incorporar restricciones de justicia en la función de pérdida del algoritmo. Esto incluye la utilización del aprendizaje por representación justa (Fair Representation Learning) o el desvío adversarial (Adversarial Debiasing) durante la fase de entrenamiento, con el objetivo de prevenir que el modelo aprenda y amplifique patrones discriminatorios inherentes a los datos históricos. 3. Establecimiento de un Marco de Gobernanza y Monitoreo Continuo Establecer un marco de auditoría continua y sistemática para detectar la desviación de sesgos una vez que el sistema está en producción. En dominios de alto riesgo (ej. salud, finanzas o contratación), asegurar la obligatoriedad de la supervisión humana ('Human-in-the-Loop') para revisar y anular las decisiones algorítmicas potencialmente sesgadas, garantizando la rendición de cuentas y la mitigación de resultados injustos.