Daños a la Calidad del Servicio
Este concepto describe el **impacto desproporcionado** o **sesgo algorítmico**, que se materializa como un conjunto de perjuicios sistemáticos. Estos ocurren cuando los sistemas automatizados o de inteligencia artificial demuestran un rendimiento notablemente inferior, o generan resultados injustos, específicamente para determinados grupos de la población definidos por categorías sociales como la discapacidad, la etnia, la identidad de género o la raza. En esencia, el sistema falla de manera desigual, perpetuando y amplificando las disparidades y desigualdades sociales existentes.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit143
Linea de dominio
1. Discriminación y Toxicidad
1.3 > Rendimiento desigual entre grupos
Estrategia de mitigacion
1. Implementar una gobernanza rigurosa de los datos, asegurando la **diversidad, representatividad e imparcialidad de los conjuntos de datos** de entrenamiento y evaluación. Esto incluye la revisión crítica de la información para identificar y neutralizar sesgos históricos o datos proxy que puedan conducir al impacto desproporcionado. 2. Establecer **pruebas de equidad y auditorías algorítmicas** continuas durante el desarrollo y despliegue, empleando métricas de rendimiento diferenciadas para asegurar que el sistema no demuestre un **rendimiento notablemente inferior** ni genere resultados injustos para subgrupos específicos definidos por categorías sociales (ej. raza, género, discapacidad). 3. Fomentar la **transparencia y la explicabilidad** de los modelos, y aplicar mecanismos de **monitoreo en tiempo real** (post-despliegue) para detectar y alertar automáticamente sobre cualquier desviación significativa o caída de rendimiento que afecte desigualmente a un segmento de usuarios, permitiendo una intervención y adaptación rápidas del sistema.