Volver al repositorio MIT
1. Discriminación y Toxicidad1 - Pre-despliegue

Sesgo de decisión

El sesgo de decisión es un riesgo crucial en la inteligencia artificial (IA) que se materializa cuando las determinaciones algorítmicas confieren una ventaja o un trato preferencial injusto a un grupo específico en detrimento de otros. Es fundamental entender que este sesgo tiene su origen en las desigualdades inherentes a los datos de entrenamiento del modelo y, a menudo, es amplificado por el propio proceso de aprendizaje automático, lo que consolida y magnifica la disparidad inicial.

Fuente: MIT AI Risk Repositorymit1186

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

1 - Pre-despliegue

ID del riesgo

mit1186

Linea de dominio

1. Discriminación y Toxicidad

156 riesgos mapeados

1.1 > Discriminación injusta y tergiversación

Estrategia de mitigacion

1. Implementar rigurosos procesos de curación de datos para asegurar que los conjuntos de entrenamiento sean diversos, representativos y balanceados, aplicando técnicas de pre-procesamiento (e.g., re-ponderación o sobremuestreo/submuestreo) para mitigar desigualdades inherentes y el sesgo de representación en las variables sensibles. 2. Integrar restricciones de equidad o técnicas de aprendizaje justo (fairness-aware algorithms) durante el entrenamiento del modelo (in-processing), tales como la regularización con términos de penalización por discriminación o el debiasing adversarial, para garantizar que las determinaciones algorítmicas no privilegien o desfavorezcan grupos específicos según atributos protegidos. 3. Establecer un marco de gobernanza de IA que incluya auditorías algorítmicas continuas (post-processing y monitoreo continuo) y la implementación de mecanismos de Explainable AI (XAI) y supervisión humana (human-in-the-loop) para detectar, evaluar y corregir proactivamente cualquier manifestación de sesgo o deriva del mismo una vez desplegado el sistema.