Sesgo sistémico en comunidades específicas
El riesgo inherente de sesgo en los sistemas de Inteligencia Artificial se concreta en la generación de resultados que son consistentemente injustos o desfavorables hacia comunidades humanas específicas, manifestándose ya sea de forma implícita o explícita. Este sesgo algorítmico actúa como un vector de daño con consecuencias duales significativas: por un lado, facilita la exclusión o el borrado, como se evidencia en el etiquetado incorrecto en tareas de categorización; por otro lado, puede escalar a formas de violencia explícita, siendo un ejemplo grave la promoción de la violencia sexual a través de la pornografía deepfake dirigida contra mujeres.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1076
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Implementación de un marco integral de mitigación de sesgo a lo largo del ciclo de vida de la IA, abarcando desde la definición rigurosa del problema y la curación de conjuntos de datos diversos y representativos (técnicas de pre-procesamiento) hasta la monitorización continua post-despliegue para detectar el *drift* de sesgo. 2. Aplicación activa de técnicas algorítmicas (in-processing) y de post-procesamiento, incluyendo el diseño de modelos conscientes del sesgo (*bias-aware algorithms*) y ajustes en las salidas para garantizar la equidad y mitigar la discriminación injusta entre las distintas comunidades. 3. Establecimiento de métricas de equidad (*fairness metrics*) claras y cuantificables para auditar el rendimiento del sistema en subgrupos específicos, complementado con la obligatoriedad de contar con equipos de desarrollo multidisciplinarios que aseguren la diversidad cognitiva en la conceptualización y diseño del algoritmo.