Volver al repositorio MIT
1. Discriminación y Toxicidad3 - Otro

Sesgo y equidad

El riesgo de sesgo algorítmico en la IA se define como la posibilidad de que los sistemas tecnológicos, al ser entrenados con datos históricos, hereden y reproduzcan prejuicios y prácticas discriminatorias preexistentes en la sociedad. Esta herencia de sesgos es una preocupación ética central, especialmente en campos sensibles como la selección de personal, la evaluación crediticia y la seguridad pública. Si no se mitiga, el resultado es la generación de juicios automatizados que pueden impactar de manera injusta a poblaciones específicas, lo que conduce a la profundización de las desigualdades socioeconómicas. La investigación enfatiza la obligación de los desarrolladores de crear sistemas que no solo busquen minimizar el sesgo de forma pasiva, sino que promuevan activamente la justicia y la equidad en sus decisiones.

Fuente: MIT AI Risk Repositorymit555

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

3 - Otro

ID del riesgo

mit555

Linea de dominio

1. Discriminación y Toxicidad

156 riesgos mapeados

1.1 > Discriminación injusta y tergiversación

Estrategia de mitigacion

1. Mejora de la Representatividad de los Datos de Entrenamiento (Prioridad Alta) Se debe priorizar la implementación de metodologías de preprocesamiento de datos para contrarrestar la herencia de sesgos históricos. Esto incluye la **recolección de conjuntos de datos diversos y representativos** que abarquen un amplio espectro demográfico, la aplicación de técnicas de **reponderación** o **remuestreo** para equilibrar las instancias subrepresentadas, y la **generación de datos sintéticos** para mitigar la escasez de datos en grupos minoritarios, garantizando una base equitativa para el aprendizaje algorítmico. 2. Incorporación de Restricciones de Equidad en el Diseño Algorítmico (Prioridad Media) Es imperativo seleccionar y diseñar modelos de aprendizaje automático que incorporen activamente la equidad durante la fase de entrenamiento. Esto implica el uso de **algoritmos conscientes de la equidad** o la introducción de **restricciones de imparcialidad** en la función de pérdida del modelo. Se recomienda la aplicación de técnicas como el **debiasing adversario** y el **aprendizaje de representaciones justas** para transformar los datos de entrada, asegurando que los atributos sensibles no influyan desproporcionadamente en los resultados predictivos. 3. Establecimiento de Mecanismos de Gobernanza y Supervisión Continua (Prioridad Continua) Se requiere un marco robusto de gobernanza de la IA que establezca la rendición de cuentas y la transparencia. Esto se logra mediante la realización de **auditorías periódicas e independientes** para detectar la deriva del sesgo después de la implementación. Además, es fundamental implementar un enfoque de **"humano en el circuito"** (human-in-the-loop) para la validación y revisión de las decisiones automatizadas en contextos de alto riesgo, así como fomentar la **explicabilidad (XAI)** de los modelos para permitir la comprensión y el desafío de los juicios injustos.