Volver al repositorio MIT
1. Discriminación y Toxicidad2 - Post-despliegue

Sesgo y Discriminación

La alegación principal radica en que, al producir resultados inherentemente sesgados y discriminatorios, estos sistemas de inteligencia artificial socavan de manera directa los derechos fundamentales de los individuos, distorsionan los principios esenciales de la adjudicación de justicia y, por extensión, comprometen la integridad del sistema judicial en su totalidad

Fuente: MIT AI Risk Repositorymit436

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit436

Linea de dominio

1. Discriminación y Toxicidad

156 riesgos mapeados

1.1 > Discriminación injusta y tergiversación

Estrategia de mitigacion

1. Implementación de protocolos rigurosos para la recolección, curación y preprocesamiento de datos con el fin de garantizar la representatividad demográfica y la diversidad contextual del conjunto de datos (*dataset*) de entrenamiento. Se deben aplicar técnicas de balanceo, como el remuestreo (*resampling*) o la reponderación (*reweighting*), y mejorar los métodos de etiquetado para mitigar el sesgo incrustado en los datos históricos. 2. Integración de algoritmos con conciencia de equidad (*fairness-aware algorithms*) y la aplicación de restricciones de imparcialidad (*fairness constraints*) directamente en el proceso de entrenamiento del modelo. Esto incluye el uso de técnicas como el *adversarial debiasing* o el aprendizaje de representaciones justas (*fair representation learning*) para codificar los datos de manera que se minimice el impacto de los atributos sensibles. 3. Establecimiento de un marco de gobernanza y auditoría continua (*ongoing auditing*) que incluya el monitoreo periódico del rendimiento del modelo en grupos demográficos diversos para detectar y corregir el *bias drift* a lo largo del tiempo. Paralelamente, se debe fomentar la transparencia (*Explainable AI - XAI*) y la incorporación de la supervisión humana (*human-in-the-loop*) para validar y, si es necesario, anular las decisiones del sistema.

EVIDENCIA ADICIONAL

Esto tiene el potencial de desencadenar una serie de efectos adversos, tales como el sesgo algorítmico, la discriminación racial y una escalada en las tasas de encarcelamiento, producto de la dependencia exacerbada en estos algoritmos predictivos dentro de un sistema de justicia penal concreto. En consecuencia, la implementación de estos sistemas automatizados de evaluación de riesgos resulta profundamente cuestionable desde perspectivas constitucionales, técnicas y éticas.