Impacto en comunidades afectadas
Es fundamental integrar las perspectivas e inquietudes de las comunidades afectadas por los resultados de un modelo durante su diseño y construcción. Omitir estos puntos de vista no solo dificulta la comprensión del contexto pertinente para el modelo, sino que también menoscaba la confianza dentro de estas comunidades.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1200
Linea de dominio
1. Discriminación y Toxicidad
1.3 > Rendimiento desigual entre grupos
Estrategia de mitigacion
1. **Establecer un Mecanismo de Gobernanza de Inclusión Comunitaria**. Implementar un marco formal que asegure la participación estructurada y consultiva de los representantes de las comunidades afectadas a lo largo de todo el ciclo de vida del sistema de IA (diseño, desarrollo, prueba y monitoreo). El objetivo primordial es integrar sus perspectivas y conocimiento contextual como requisito ineludible para el modelado, con el fin de validar la idoneidad del sistema y fomentar la confianza legítima. 2. **Ejecutar Auditorías Algorítmicas de Imparcialidad Disagregada**. Desarrollar e implementar auditorías periódicas y rigurosas del rendimiento del modelo, desglosando métricas clave por subgrupos sociodemográficos relevantes identificados en colaboración con las comunidades. Esto es crucial para detectar y cuantificar de manera proactiva cualquier manifestación de rendimiento desigual o sesgo algorítmico, y así aplicar las técnicas de mitigación de sesgo necesarias (ej. en la recopilación de datos o en la aplicación de técnicas de justicia algorítmica). 3. **Garantizar la Explicabilidad y Revisión Humana Reforzada**. Generar documentación exhaustiva y clara (Explainable AI - XAI) sobre el propósito, las limitaciones y el proceso de toma de decisiones del modelo. Adicionalmente, establecer un protocolo de "humano en el circuito" (Human-in-the-Loop) con criterios bien definidos, que permita la revisión, la anulación y la apelación de las decisiones del sistema por parte de operadores capacitados, especialmente cuando los resultados impacten negativamente a los grupos vulnerables.