Volver al repositorio MIT
1. Discriminación y Toxicidad2 - Post-despliegue

Alienación de grupos sociales

El fenómeno describe la **NEGLIGENCIA DE LA IDENTIDAD SOCIAL EN LOS SISTEMAS DE CLASIFICACIÓN VISUAL**. Se refiere a un tipo de sesgo algorítmico donde un sistema automatizado de etiquetado de imágenes no logra reconocer la importancia fundamental de que una persona pertenezca a un grupo social específico (ya sea por cultura, etnia, género o cualquier otro contexto sociodemográfico) para interpretar correctamente lo que se representa. Esto tiene como consecuencia una descripción incompleta o sesgada que invisibiliza el contexto social relevante de la imagen.

Fuente: MIT AI Risk Repositorymit137

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit137

Linea de dominio

1. Discriminación y Toxicidad

156 riesgos mapeados

1.1 > Discriminación injusta y tergiversación

Estrategia de mitigacion

Las estrategias de mitigación para el riesgo de Alienación de Grupos Sociales por negligencia en la clasificación visual deben priorizar la corrección del sesgo sistémico desde su origen, con un tono académico.1. **Prioridad Alta: Diversificación y Auditoría Rigurosa de los Conjuntos de Datos** Implementar una política estricta de gobernanza de datos que exija auditorías sistemáticas y continuas de los conjuntos de entrenamiento. Esto incluye la identificación de deficiencias en la representación de grupos sociales subrepresentados o históricamente marginados y la aplicación de técnicas de pre-procesamiento como el aumento de datos o el re-ponderación de muestras para garantizar que la diversidad sociodemográfica se refleje de manera auténtica y equitativa, abordando así la raíz de la negligencia identitaria. 2. **Prioridad Alta: Integración de Algoritmos de Equidad Conscientes de la Identidad** Desarrollar e implementar algoritmos de mitigación de sesgos (*fairness-aware algorithms*) que operen durante el entrenamiento y la inferencia. Estos deben estar diseñados específicamente para reconocer la importancia de los atributos de identidad social (cultura, etnia, género) en la interpretación visual, penalizando las salidas que resulten en la invisibilización, tergiversación o estereotipación, y garantizando que la clasificación refleje un reconocimiento contextual completo. 3. **Prioridad Media: Transparencia y Monitoreo Continuo Post-Despliegue** Establecer un marco de supervisión operativa que incluya la auditoría continua de las clasificaciones generadas por el sistema en entornos reales mediante métricas de equidad. Se debe utilizar la Explicabilidad de la IA (XAI) para rastrear y justificar las decisiones algorítmicas, permitiendo a los expertos humanos identificar rápidamente las instancias de negligencia de la identidad social y aplicar correcciones focalizadas en el modelo para evitar la consolidación del sentimiento de alienación.

EVIDENCIA ADICIONAL

La ausencia de representación adecuada no solo refuerza la percepción de exclusión identitaria, sino que también funciona como un mecanismo que consolida el sentimiento de alienación