Riesgos de modelos (Sesgo y discriminación)
El sesgo algorítmico, un riesgo clave en la IA, se origina principalmente en dos puntos del proceso de desarrollo. Primero, durante el diseño y el entrenamiento, los desarrolladores pueden introducir sesgos personales, ya sea de forma intencional o no. Segundo, los conjuntos de datos de baja calidad son una fuente crítica, ya que al ser deficientes, provocan resultados o salidas algorítmicas que son inherentemente sesgadas o discriminatorias. Esta manifestación de prejuicio puede incluir contenido discriminatorio que afecta a grupos por su etnia, religión, nacionalidad o región de origen.
ENTIDAD
1 - Humano
INTENCIÓN
3 - Otro
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit643
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Establecer un proceso de curación de datos riguroso, asegurando que los conjuntos de entrenamiento sean inherentemente diversos, representativos y se sometan a técnicas de pre-procesamiento (e.g., sobremuestreo, submuestreo, ponderación) para mitigar el sesgo histórico y de representación antes del modelado. 2. Implementar algoritmos y restricciones de equidad ("Fairness-aware algorithms") durante la fase de entrenamiento del modelo, utilizando técnicas como el aprendizaje de representación justa (Fair Representation Learning) o el *debiasing* adversarial para garantizar que los atributos sensibles (etnia, género, etc.) no influyan indebidamente en la predicción final. 3. Instaurar un marco de gobernanza sólido y auditorías algorítmicas continuas post-despliegue, complementado con mecanismos de transparencia y Explicabilidad de la IA (XAI), para monitorear el rendimiento del modelo en diferentes subgrupos demográficos y permitir la revisión humana de decisiones críticas.