Reificación de categorías esencialistas
Estos sistemas algorítmicos implican procesos de clasificación (ejecutados por modelos de aprendizaje automático o evaluadores humanos) que definen la pertenencia de una persona a una categoría social (como género o raza) a partir de criterios superficiales, limitados y de construcción social. La 'reificación' ocurre porque el sistema refuerza la noción de que estas diferencias son intrínsecas, estáticas e inmutables, al basar sus suposiciones en apariencias físicas y codificar estos sesgos como verdades objetivas.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit139
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Priorizar la reevaluación del propósito y el alcance de los sistemas de clasificación para eliminar o restringir estrictamente el uso de atributos fenotípicos o superficiales (como la morfología facial) como *proxies* determinantes de categorías sociales complejas (como género o raza), con el fin de evitar su reificación como diferencias inherentemente estáticas. Esto exige la implementación de conjuntos de datos de entrenamiento que sean inherentemente diversos y representativos de la gama completa de identidades y expresiones humanas. 2. Establecer un régimen riguroso de auditoría algorítmica obligatoria, centrada en la equidad (fairness audit) y la mitigación de sesgos. Estas auditorías deben cuantificar de manera proactiva el riesgo de discriminación injusta y reificación de categorías esenciales en diversas subpoblaciones, asegurando que los sesgos se identifiquen y corrijan durante las fases de diseño y entrenamiento, no solo en la post-implementación. 3. Asegurar la transparencia y la explicabilidad (XAI) del sistema mediante la documentación detallada de los criterios de clasificación y los supuestos sociotécnicos integrados en el modelo. Es fundamental mantener una supervisión humana activa y capacitada para anular o contextualizar los resultados del sistema, especialmente cuando estos involucren la asignación o inferencia de una categoría social a un individuo.
EVIDENCIA ADICIONAL
El reconocimiento automático de género opera bajo la premisa de capturar las diferencias morfológicas sexuales inherentes a la estructura facial de hombres y mujeres. El proceso implica contrastar las variaciones geométricas de un rostro con un modelo o plantilla estándar. Es fundamental notar que la eficacia de estos sistemas se basa en la asunción de que estas discrepancias en la configuración espacial están correlacionadas directamente con la identificación de género.