Sesgo y Discriminación
La alegación principal radica en que, al producir resultados inherentemente sesgados y discriminatorios, estos sistemas de inteligencia artificial socavan de manera directa los derechos fundamentales de los individuos, distorsionan los principios esenciales de la adjudicación de justicia y, por extensión, comprometen la integridad del sistema judicial en su totalidad
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit436
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Implementación de protocolos rigurosos para la recolección, curación y preprocesamiento de datos con el fin de garantizar la representatividad demográfica y la diversidad contextual del conjunto de datos (*dataset*) de entrenamiento. Se deben aplicar técnicas de balanceo, como el remuestreo (*resampling*) o la reponderación (*reweighting*), y mejorar los métodos de etiquetado para mitigar el sesgo incrustado en los datos históricos. 2. Integración de algoritmos con conciencia de equidad (*fairness-aware algorithms*) y la aplicación de restricciones de imparcialidad (*fairness constraints*) directamente en el proceso de entrenamiento del modelo. Esto incluye el uso de técnicas como el *adversarial debiasing* o el aprendizaje de representaciones justas (*fair representation learning*) para codificar los datos de manera que se minimice el impacto de los atributos sensibles. 3. Establecimiento de un marco de gobernanza y auditoría continua (*ongoing auditing*) que incluya el monitoreo periódico del rendimiento del modelo en grupos demográficos diversos para detectar y corregir el *bias drift* a lo largo del tiempo. Paralelamente, se debe fomentar la transparencia (*Explainable AI - XAI*) y la incorporación de la supervisión humana (*human-in-the-loop*) para validar y, si es necesario, anular las decisiones del sistema.
EVIDENCIA ADICIONAL
Esto tiene el potencial de desencadenar una serie de efectos adversos, tales como el sesgo algorítmico, la discriminación racial y una escalada en las tasas de encarcelamiento, producto de la dependencia exacerbada en estos algoritmos predictivos dentro de un sistema de justicia penal concreto. En consecuencia, la implementación de estos sistemas automatizados de evaluación de riesgos resulta profundamente cuestionable desde perspectivas constitucionales, técnicas y éticas.