Discriminación, toxicidad y sesgo
Los sistemas de IA y las herramientas asociadas corren el riesgo de amplificar las desigualdades preexistentes en el acceso al empleo y a servicios cruciales. Además, el contenido que generan puede incidir directamente en la promoción de la inequidad y en la consolidación de sesgos y estereotipos nocivos.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit767
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Implementar rigurosas auditorías de equidad y diversidad de datos desde la fase de diseño, garantizando que los conjuntos de entrenamiento representen de manera equitativa a todos los grupos demográficos y aplicando técnicas de mitigación de sesgo algorítmico (*fairness toolkits*, *re-weighting* o *post-processing*) para asegurar la imparcialidad del modelo antes del despliegue. 2. Establecer un sistema de monitoreo continuo del rendimiento y la equidad del modelo en producción. Esto implica el seguimiento de métricas de discriminación para distintos grupos poblacionales y la realización de pruebas de estrés para identificar y corregir proactivamente la deriva de sesgos o la generación de contenido nocivo que perpetúe estereotipos. 3. Integrar mecanismos obligatorios de supervisión y revisión humana (*Human-in-the-Loop*) en aquellas decisiones automatizadas de alto riesgo que impacten el acceso a empleo o servicios cruciales, junto con la garantía de la explicabilidad de las decisiones para permitir la trazabilidad, la justificación y el establecimiento de canales de reclamación y rectificación efectivos.