Volver al repositorio MIT
1. Discriminación y Toxicidad1 - Pre-despliegue

Equidad

Este desafío surge cuando un modelo de aprendizaje automático produce decisiones que muestran un sesgo respecto a atributos sensibles (como el género o la etnia). Esto se debe a que los propios datos de entrenamiento pueden contener sesgos inherentes, lo que inevitablemente conduce a resultados injustos o discriminatorios. Por consiguiente, la solución fundamental a este problema no reside en el modelo en sí, sino que debe abordarse y mitigarse directamente a nivel de los datos, implementándose como un paso de preprocesamiento esencial.

Fuente: MIT AI Risk Repositorymit565

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

1 - Pre-despliegue

ID del riesgo

mit565

Linea de dominio

1. Discriminación y Toxicidad

156 riesgos mapeados

1.3 > Rendimiento desigual entre grupos

Estrategia de mitigacion

1. Remediación y Representatividad de los Datos Ejecutar un preprocesamiento exhaustivo del *dataset* de entrenamiento para identificar, cuantificar y mitigar el sesgo inherente (histórico o de representación) a nivel de los datos, asegurando una distribución balanceada y la representación adecuada de todos los grupos demográficos o atributos sensibles relevantes. 2. Auditoría Algorítmica de Equidad y Rendimiento Desigual Establecer un proceso riguroso de validación y verificación pre-despliegue que incluya la medición de la equidad mediante métricas específicas (por ejemplo, paridad demográfica o igualdad de oportunidad) para detectar y corregir el rendimiento desigual del modelo entre los distintos subgrupos. 3. Integración de Salvaguardas en el Diseño del Modelo Incorporar técnicas *in-processing* o *post-processing* (como *feature engineering* explícito o el ajuste de umbrales) para garantizar que las decisiones del sistema de inteligencia artificial sean independientes de los atributos sensibles, neutralizando así cualquier sesgo residual antes de que el sistema entre en producción.