Volver al repositorio MIT
1. Discriminación y Toxicidad2 - Post-despliegue

Pérdida de servicio/beneficio

El riesgo de **Sesgo Algorítmico y Equidad** se define como la **pérdida o la degradación total de los beneficios** previstos de un sistema algorítmico. Esto ocurre debido a un **rendimiento intrínsecamente inequitativo** del sistema, donde la disparidad en los resultados se basa directamente en la **identidad** de los usuarios. En esencia, la tecnología amplifica las desigualdades sociales preexistentes al penalizar o denegar sistemáticamente el acceso a los beneficios a grupos específicos.

Fuente: MIT AI Risk Repositorymit146

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit146

Linea de dominio

1. Discriminación y Toxicidad

156 riesgos mapeados

1.3 > Rendimiento desigual entre grupos

Estrategia de mitigacion

**1. Asegurar la Diversidad y Representatividad de los Datos de Entrenamiento** Evaluar rigurosamente los conjuntos de datos empleados en la fase de entrenamiento para detectar y mitigar cualquier sesgo inherente (histórico, de representación o proxy), asegurando que los datos sean diversos y representativos de todos los grupos de usuarios para evitar la amplificación de las desigualdades sociales preexistentes. **2. Establecer un Marco de Gobernanza de la IA con Auditoría Continua** Implementar un sistema de gobernanza que exija la transparencia, la explicabilidad y la rendición de cuentas a lo largo del ciclo de vida del sistema. Esto incluye la auditoría algorítmica independiente y el monitoreo post-despliegue del rendimiento del sistema para detectar persistentemente disparidades en los resultados de servicio/beneficio entre grupos de identidad. **3. Aplicar Técnicas de Mitigación de Sesgos en el Diseño Algorítmico** Integrar proactivamente técnicas de machine learning responsable, como el ajuste de la función de optimización del modelo (e.g., mediante la adición de penalizaciones por disparidad en la función de pérdida) y el uso de diseño inclusivo, para corregir activamente los sesgos conocidos y garantizar que el proceso de toma de decisiones no inflija un daño desigual a grupos específicos.

EVIDENCIA ADICIONAL

El mensaje comunicado divergió significativamente de la intención original, lo cual generó un costo considerable (en términos de tiempo) para un tercero