Pérdida de oportunidad
El concepto de *pérdida de oportunidades* se refiere al fenómeno por el cual los sistemas algorítmicos instauran un acceso diferenciado a la información y los recursos fundamentales para la participación equitativa en el tejido social. Los ejemplos más críticos incluyen la denegación implícita de ofertas de vivienda mediante la focalización publicitaria basada en criterios raciales [10], y la distribución sesgada de servicios sociales delimitada por la clase socioeconómica [84]
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit141
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Realizar una auditoría exhaustiva de los conjuntos de datos de entrenamiento para identificar y subsanar sesgos históricos, de selección o de representación, asegurando la diversidad y la equidad de la muestra desde la fase de concepción del modelo. 2. Implementar auditorías algorítmicas independientes y periódicas para evaluar la lógica de decisión del sistema y su impacto en los resultados, aplicando restricciones y métricas de equidad explícitas (por ejemplo, índices de asignación mínima) para garantizar la distribución no discriminatoria de oportunidades. 3. Establecer mecanismos de monitoreo y gobernanza continuos para vigilar el rendimiento del sistema en producción (post-despliegue), permitiendo la detección temprana y la mitigación de sesgos algorítmicos emergentes en tiempo real.
EVIDENCIA ADICIONAL
La evidencia recopilada subraya que las disparidades raciales históricas, profundamente arraigadas en los sistemas de servicios humanos, no solo persisten, sino que también se están codificando y, potencialmente, amplificando a través de la Inteligencia Artificial. El sesgo sistémico se manifiesta en la negación de acceso a servicios vitales. En el ámbito de la salud, por ejemplo, los pacientes afroamericanos son significativamente menos propensos a recibir trasplantes de riñón en comparación con los pacientes blancos, una disparidad que se vio exacerbada por el uso histórico de un coeficiente basado en la raza en la fórmula de función renal (eGFR) que artificialmente subestimaba la gravedad de la enfermedad renal en pacientes de color, retrasando su inclusión en las listas de espera. De manera similar, en el sector hipotecario, los solicitantes de minorías raciales y étnicas enfrentan mayores tasas de denegación de préstamos, incluso después de controlar factores de riesgo observables, lo que sugiere que tanto el sesgo humano como los algoritmos de suscripción automatizada (AUS) perpetúan esta desigualdad. Esta problemática se traslada a la IA debido a que los sistemas de aprendizaje automático se entrenan con datos que reflejan prejuicios sociales existentes, un fenómeno conocido como sesgo algorítmico. Ejemplos de esto incluyen: - Sesgo de Selección: Cuando los datos de entrenamiento no representan a la población real (ej. modelos de reconocimiento facial que funcionan peor para tonos de piel más oscuros). - Racismo Encubierto en LLMs: Los Grandes Modelos de Lenguaje (LLMs) demuestran sesgos al asociar a los hablantes de inglés afroamericano con estereotipos negativos en contextos encubiertos, o al recomendar resultados sesgados en simulaciones de decisiones críticas como la contratación o el sistema legal.Abordar estas inequidades requiere un enfoque doble. Primero, identificar y mitigar los sesgos individuales y las políticas discriminatorias dentro de las agencias de servicios humanos. Segundo, implementar soluciones técnicas rigurosas para la IA, incluyendo la diversificación de los conjuntos de datos, la realización de auditorías de imparcialidad continuas y una mayor transparencia para asegurar que los algoritmos contribuyan a la equidad en lugar de consolidar la discriminación histórica.