Representación injusta
Este riesgo se refiere a la distorsión, subrepresentación o sobrerrepresentación de identidades, grupos o perspectivas específicas, e incluso a su exclusión completa, lo que socava la equidad. Estos sesgos suelen manifestarse a través de la homogeneización de los datos o la perpetuación de estereotipos sociales.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit258
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Asegurar la diversidad y representatividad de los conjuntos de datos de entrenamiento Esta medida es de máxima prioridad ya que los sesgos en los datos son la principal causa de la representación injusta en los sistemas de IA. Implica un preprocesamiento riguroso para identificar y corregir activamente los sesgos históricos, la falta de representatividad y las deficiencias de la información, con el fin de garantizar que el modelo de aprendizaje automático refleje de manera equitativa a diversas cohortes y perspectivas. 2. Integrar la detección y mitigación de sesgos en el diseño algorítmico Es esencial aplicar restricciones de equidad y mecanismos de prueba durante el desarrollo del modelo para contrarrestar los sesgos algorítmicos. Esto incluye un diseño inclusivo que evite la ponderación injusta de factores o la integración inadvertida de reglas subjetivas por parte de los desarrolladores, lo cual puede conducir a resultados parciales o a la perpetuación de estereotipos. 3. Establecer un marco de gobernanza de la IA y abordar los orígenes sociales del sesgo Se requiere la implementación de principios de gobernanza, como la transparencia, la explicabilidad y la rendición de cuentas, para auditar y controlar los resultados de los sistemas de IA. A nivel organizacional, es fundamental complementar estas acciones tecnológicas con iniciativas de formación, sensibilización y la creación de políticas que reconozcan y remedien las desigualdades sociales subyacentes que dan origen a los sesgos.
EVIDENCIA ADICIONAL
Ejemplo: Generación predominante de imágenes de individuos con apariencia femenina al introducir el término "enfermera" (Mishkin et al., 2022)*