Pérdida de servicio/beneficio
El riesgo de **Sesgo Algorítmico y Equidad** se define como la **pérdida o la degradación total de los beneficios** previstos de un sistema algorítmico. Esto ocurre debido a un **rendimiento intrínsecamente inequitativo** del sistema, donde la disparidad en los resultados se basa directamente en la **identidad** de los usuarios. En esencia, la tecnología amplifica las desigualdades sociales preexistentes al penalizar o denegar sistemáticamente el acceso a los beneficios a grupos específicos.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit146
Linea de dominio
1. Discriminación y Toxicidad
1.3 > Rendimiento desigual entre grupos
Estrategia de mitigacion
**1. Asegurar la Diversidad y Representatividad de los Datos de Entrenamiento** Evaluar rigurosamente los conjuntos de datos empleados en la fase de entrenamiento para detectar y mitigar cualquier sesgo inherente (histórico, de representación o proxy), asegurando que los datos sean diversos y representativos de todos los grupos de usuarios para evitar la amplificación de las desigualdades sociales preexistentes. **2. Establecer un Marco de Gobernanza de la IA con Auditoría Continua** Implementar un sistema de gobernanza que exija la transparencia, la explicabilidad y la rendición de cuentas a lo largo del ciclo de vida del sistema. Esto incluye la auditoría algorítmica independiente y el monitoreo post-despliegue del rendimiento del sistema para detectar persistentemente disparidades en los resultados de servicio/beneficio entre grupos de identidad. **3. Aplicar Técnicas de Mitigación de Sesgos en el Diseño Algorítmico** Integrar proactivamente técnicas de machine learning responsable, como el ajuste de la función de optimización del modelo (e.g., mediante la adición de penalizaciones por disparidad en la función de pérdida) y el uso de diseño inclusivo, para corregir activamente los sesgos conocidos y garantizar que el proceso de toma de decisiones no inflija un daño desigual a grupos específicos.
EVIDENCIA ADICIONAL
El mensaje comunicado divergió significativamente de la intención original, lo cual generó un costo considerable (en términos de tiempo) para un tercero