Sesgo y equidad
Este riesgo se refiere a la **amplificación y exacerbación de sesgos preexistentes** de índole histórica, social y sistémica. Se manifiesta a través de **disparidades en el rendimiento del modelo** entre distintos subgrupos o lenguajes, un fenómeno a menudo atribuido a conjuntos de datos de entrenamiento no representativos. Esto conlleva directamente a la **discriminación**, a la consolidación de prejuicios y a la formulación de presunciones erróneas sobre el desempeño. Además, la emergencia de una **homogeneidad indeseada** en los sistemas o modelos puede distorsionar sus resultados, generando salidas erróneas que conducen a la **toma de decisiones mal fundamentadas** y, en última instancia, a la intensificación de sesgos perjudiciales.
ENTIDAD
3 - Otro
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit714
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Establecimiento de Marcos de Gobernanza de IA y Monitoreo Continuo Implementar estructuras de gobernanza que definan la responsabilidad, la transparencia y la rendición de cuentas. Esto incluye la creación de comités éticos, la documentación obligatoria de adherencia a principios de equidad y la implementación de sistemas de monitoreo y auditoría continuos para detectar y mitigar sesgos emergentes tras la implementación del modelo. 2. Aseguramiento de la Representatividad y Calidad de los Datos de Entrenamiento Realizar auditorías rigurosas de los conjuntos de datos de entrenamiento para garantizar su diversidad y representatividad de todos los subgrupos de la población objetivo. Aplicar técnicas de pre-procesamiento para identificar, medir y rectificar desequilibrios o sesgos históricos y sistémicos presentes en los datos, mitigando así la amplificación de prejuicios preexistentes. 3. Integración de la Equidad en el Ciclo de Vida del Modelo ('Fairness-by-Design') Adoptar un enfoque proactivo que incorpore consideraciones de equidad desde la fase de concepción. Esto implica el uso de técnicas de mitigación de sesgos durante el entrenamiento (in-processing) y en el ajuste de resultados (post-processing), así como la integración de mecanismos de 'humano en el circuito' (Human-in-the-Loop) para la revisión crítica de las decisiones algorítmicas con potencial impacto discriminatorio.