Volver al repositorio MIT
1. Discriminación y Toxicidad2 - Post-despliegue

Negar la oportunidad de autoidentificarse

Este concepto aborda el riesgo de **daño representacional** que emerge cuando los sistemas de inteligencia artificial aplican **categorizaciones automáticas y simplificadoras** a la complejidad de la identidad humana. La esencia del problema radica en dos puntos fundamentales:1. **Reducción de la Identidad:** La IA impone modelos de representación algorítmica que, por su naturaleza, son a menudo demasiado complejos o no tradicionales. Al intentar clasificar a un ser humano de manera automática (por ejemplo, al inferir características demográficas), el sistema reduce una identidad fluida y multifacética a una etiqueta estática. 2. **Pérdida de Autonomía:** El resultado directo de esta clasificación automática es la **pérdida de autonomía**. Por ejemplo, al encasillar a una persona con identidad no binaria en una categoría de género binaria a la que no pertenece, el sistema socava su derecho fundamental a la **autodeterminación de su identidad**.En términos sencillos, el riesgo es que la IA silencie o malinterprete aspectos esenciales del ser de un individuo, minando su capacidad para expresar o divulgar su identidad bajo sus propios términos. Se trata de un fallo ético donde la tecnología dictamina quién eres, en lugar de respetarte como tú te defines.

Fuente: MIT AI Risk Repositorymit138

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit138

Linea de dominio

1. Discriminación y Toxicidad

156 riesgos mapeados

1.1 > Discriminación injusta y tergiversación

Estrategia de mitigacion

1. Implementación de una estrategia de recolección de datos inclusiva y representativa que capture activamente y etiquete correctamente aspectos de la identidad humana no tradicionales o complejos. Esto implica el diseño de esquemas de categorización non-esencialistas que reconozcan la autodeterminación, minimizando el riesgo de reducción de la identidad a etiquetas estáticas. 2. Integración de mecanismos de autodeterminación y revisión humana (Human-in-the-Loop) en la arquitectura del sistema. La clasificación inferida por el modelo de IA debe ser siempre subordinada y anulable por la autoidentificación explícita del usuario, garantizando la primacía de la autonomía individual en la divulgación de su identidad. 3. Realización de auditorías de sesgo y monitoreo continuo post-despliegue, enfocadas en métricas de equidad representacional. Se deben evaluar sistemáticamente las tasas de misclasificación o tergiversación para grupos subrepresentados o aquellos con identidades complejas, asegurando la detección temprana de daños representacionales emergentes.

EVIDENCIA ADICIONAL

Es indudablemente frustrante que los sistemas de clasificación algorítmica yerren en aspectos integrales de mi identidad. Y resulta igualmente problemático que este tipo de aplicaciones tecnológicas solo tiendan a reconocer los dos géneros binarios.