Volver al repositorio MIT
1. Discriminación y Toxicidad2 - Post-despliegue

Representación injusta

Este riesgo se refiere a la distorsión, subrepresentación o sobrerrepresentación de identidades, grupos o perspectivas específicas, e incluso a su exclusión completa, lo que socava la equidad. Estos sesgos suelen manifestarse a través de la homogeneización de los datos o la perpetuación de estereotipos sociales.

Fuente: MIT AI Risk Repositorymit258

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit258

Linea de dominio

1. Discriminación y Toxicidad

156 riesgos mapeados

1.1 > Discriminación injusta y tergiversación

Estrategia de mitigacion

1. Asegurar la diversidad y representatividad de los conjuntos de datos de entrenamiento Esta medida es de máxima prioridad ya que los sesgos en los datos son la principal causa de la representación injusta en los sistemas de IA. Implica un preprocesamiento riguroso para identificar y corregir activamente los sesgos históricos, la falta de representatividad y las deficiencias de la información, con el fin de garantizar que el modelo de aprendizaje automático refleje de manera equitativa a diversas cohortes y perspectivas. 2. Integrar la detección y mitigación de sesgos en el diseño algorítmico Es esencial aplicar restricciones de equidad y mecanismos de prueba durante el desarrollo del modelo para contrarrestar los sesgos algorítmicos. Esto incluye un diseño inclusivo que evite la ponderación injusta de factores o la integración inadvertida de reglas subjetivas por parte de los desarrolladores, lo cual puede conducir a resultados parciales o a la perpetuación de estereotipos. 3. Establecer un marco de gobernanza de la IA y abordar los orígenes sociales del sesgo Se requiere la implementación de principios de gobernanza, como la transparencia, la explicabilidad y la rendición de cuentas, para auditar y controlar los resultados de los sistemas de IA. A nivel organizacional, es fundamental complementar estas acciones tecnológicas con iniciativas de formación, sensibilización y la creación de políticas que reconozcan y remedien las desigualdades sociales subyacentes que dan origen a los sesgos.

EVIDENCIA ADICIONAL

Ejemplo: Generación predominante de imágenes de individuos con apariencia femenina al introducir el término "enfermera" (Mishkin et al., 2022)*