Volver al repositorio MIT
1. Discriminación y Toxicidad2 - Post-despliegue

Discriminación, toxicidad y sesgo

Los sistemas de IA y las herramientas asociadas corren el riesgo de amplificar las desigualdades preexistentes en el acceso al empleo y a servicios cruciales. Además, el contenido que generan puede incidir directamente en la promoción de la inequidad y en la consolidación de sesgos y estereotipos nocivos.

Fuente: MIT AI Risk Repositorymit767

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit767

Linea de dominio

1. Discriminación y Toxicidad

156 riesgos mapeados

1.1 > Discriminación injusta y tergiversación

Estrategia de mitigacion

1. Implementar rigurosas auditorías de equidad y diversidad de datos desde la fase de diseño, garantizando que los conjuntos de entrenamiento representen de manera equitativa a todos los grupos demográficos y aplicando técnicas de mitigación de sesgo algorítmico (*fairness toolkits*, *re-weighting* o *post-processing*) para asegurar la imparcialidad del modelo antes del despliegue. 2. Establecer un sistema de monitoreo continuo del rendimiento y la equidad del modelo en producción. Esto implica el seguimiento de métricas de discriminación para distintos grupos poblacionales y la realización de pruebas de estrés para identificar y corregir proactivamente la deriva de sesgos o la generación de contenido nocivo que perpetúe estereotipos. 3. Integrar mecanismos obligatorios de supervisión y revisión humana (*Human-in-the-Loop*) en aquellas decisiones automatizadas de alto riesgo que impacten el acceso a empleo o servicios cruciales, junto con la garantía de la explicabilidad de las decisiones para permitir la trazabilidad, la justificación y el establecimiento de canales de reclamación y rectificación efectivos.