Distribución injusta de capacidades
Este riesgo fundamental en la seguridad de la IA se conoce como **Sesgo de Impacto Dispar** o **Discriminación Algorítmica**. Se manifiesta cuando un sistema exhibe un **rendimiento sistemáticamente inferior** o genera **resultados más adversos** para un subgrupo demográfico particular, lo que resulta en un **perjuicio tangible** o en la **exacerbación de las desigualdades sociales** preexistentes en dicho colectivo. En esencia, el algoritmo está perpetuando la inequidad.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1225
Linea de dominio
1. Discriminación y Toxicidad
1.3 > Rendimiento desigual entre grupos
Estrategia de mitigacion
1. **Garantizar la Representatividad y el Balance de los Datos de Entrenamiento** Se requiere la curación meticulosa y la actualización continua de los conjuntos de datos, asegurando que sean diversos y representativos de la población de usuarios. Es crucial aplicar técnicas de balanceo (e.g., sobremuestreo o submuestreo) y depuración para prevenir que los sesgos históricos se transfieran y amplifiquen, lo cual es la causa raíz de la discriminación algorítmica. 2. **Implementar Arquitecturas de Justicia Algorítmica (Fairness-Aware Design)** Diseñar modelos de IA que integren principios de equidad desde su concepción, empleando técnicas como la regularización de equidad o el uso de algoritmos conscientes del sesgo. Este enfoque implica ajustar activamente los ponderadores y la selección de variables predictivas para asegurar que el rendimiento, y por ende el impacto, sea equitativo a través de todos los subgrupos demográficos. 3. **Establecer un Marco Continuo de Auditoría y Transparencia Algorítmica** Instaurar auditorías algorítmicas periódicas para la detección y mitigación de sesgos en la fase post-despliegue. Esto debe complementarse con el desarrollo de herramientas de **Explicabilidad (XAI)** (como LIME o SHAP) para desentrañar y justificar el razonamiento detrás de las decisiones del sistema. La transparencia es fundamental para la rendición de cuentas y para que los grupos afectados puedan comprender e impugnar resultados adversos.