Menosprecio de grupos sociales
La desvalorización de grupos sociales (demeaning of social groups) se manifiesta cuando a estos se les asigna un estatus inferior y se les considera menos merecedores de respeto. Este proceso opera mediante discursos, imágenes y lenguaje específicos diseñados para marginar u oprimir. En el ámbito de los sistemas de inteligencia artificial, un ejemplo crítico de estas tácticas son las "imágenes de control", que se evidencian claramente en formas como la confusión entre humanos y animales que ocurre en ciertos sistemas de etiquetado de imágenes.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit135
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Utilización de Conjuntos de Datos Diversos y Representativos Asegurar que los datos de entrenamiento sean inclusivos, equilibrados y representativos de todos los grupos sociales para prevenir que el modelo herede y amplifique sesgos históricos o de muestreo. Se requiere la auditoría sistemática de los datos de entrada para detectar y corregir la sobrerrepresentación o infrarrepresentación de grupos específicos, lo que constituye la causa raíz de los daños representacionales. 2. Implementación de Mecanismos de Detección y Mitigación de Sesgos Integrar métricas de equidad (fairness-aware metrics) en el diseño de los modelos y aplicar técnicas de *debiasing* (como algoritmos conscientes de la equidad) para reducir las disparidades predictivas entre los subgrupos. Esta estrategia debe complementarse con la realización de Auditorías Algorítmicas periódicas, especialmente post-despliegue, para monitorear el impacto dispar en el uso real. 3. Promoción de la Transparencia y el Diseño Inclusivo Aplicar técnicas de Inteligencia Artificial Explicable (XAI) para incrementar la interpretabilidad de las decisiones del sistema, lo cual es crucial para identificar cómo el algoritmo está discriminando o desvalorizando a grupos. Además, fomentar la diversidad multidisciplinaria en los equipos de desarrollo de IA para incorporar perspectivas éticas y sociales que eviten la introducción de sesgos humanos y cognitivos.
EVIDENCIA ADICIONAL
Este hallazgo ilustra un caso de sesgo algorítmico en la distribución de publicidad en línea. Se constató que, durante las búsquedas, la tasa de aparición de anuncios que contenían el término 'arresto' era sustancialmente más alta cuando se utilizaban nombres de pila asociados a la población negra en comparación con aquellos asociados a la población blanca. Este patrón demuestra cómo los sistemas automatizados de segmentación pueden generar un *impacto dispar*, exponiendo diferencialmente a grupos demográficos específicos a contenido potencialmente estigmatizante y, por lo tanto, amplificando disparidades sociales preexistentes dentro del ecosistema digital.