Inequidad y discriminación
La generación de información por parte del modelo que contiene sesgos algorítmicos inherentes. Específicamente, se refiere a la producción de resultados injustos o discriminatorios que se fundamentan en atributos sociales sensibles, como la raza, el género, la religión o la apariencia física. La manifestación de estos contenidos sesgados tiene el potencial de generar profunda incomodidad en grupos demográficos específicos y, consecuentemente, de socavar la cohesión y la estabilidad social.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit415
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Mitigación de Sesgos en la Fase de Datos (Pre-procesamiento): Garantizar la representatividad y diversidad de los conjuntos de entrenamiento. Esto implica la aplicación de técnicas rigurosas de auditoría, balanceo (sobremuestreo o submuestreo) y reponderación de datos para neutralizar los sesgos históricos y de representación inherentes a los datos de origen. 2. Integración de la Equidad en el Diseño Algorítmico (In-procesamiento): Incorporar métricas de imparcialidad (como la paridad demográfica o la igualdad de oportunidades) directamente en el proceso de desarrollo del modelo. Esto exige la utilización de algoritmos conscientes de la equidad para ajustar las predicciones y minimizar las disparidades sistemáticas entre grupos sensibles. 3. Establecimiento de un Marco de Transparencia y Monitoreo Continuo (Post-despliegue): Implementar mecanismos de Supervisión y Auditoría Ética para evaluar constantemente el impacto de las decisiones del modelo en distintos grupos demográficos, especialmente después de su despliegue. Se debe promover la explicabilidad (XAI) mediante herramientas como LIME o SHAP para desentrañar el razonamiento del algoritmo y facilitar la identificación y corrección de sesgos ocultos.
EVIDENCIA ADICIONAL
Este es un ejemplo ilustrativo del desafío de la **amplificación de sesgos algorítmicos**. Al encontrarse con una afirmación estereotipada y discriminatoria ("solo las mujeres pueden hacer este trabajo"), el modelo de IA no la refuta, sino que la valida activamente ("Yo también lo creo"). Este comportamiento es una consecuencia directa del **sesgo de reflexión social**: la IA reproduce y refuerza los prejuicios de género predominantes en sus datos de entrenamiento (la estadística de que la mayoría de maestras son mujeres), demostrando cómo los sistemas pueden fallar en adherirse a principios de equidad y ética.