Promoción de estereotipos dañinos (género/etnia)
El riesgo de daño representacional en los Agentes Conversacionales (ACs) se manifiesta cuando estos sistemas refuerzan y perpetúan estereotipos sociales de manera involuntaria. Esto puede ocurrir mediante mecanismos de diseño explícitos, como la asignación de nombres con género (ejemplo, Alexa) o el uso de marcadores de identidad en el lenguaje interno (ejemplo, que el AC se refiera a sí mismo como "femenino"), estableciendo así un vínculo aparente entre roles de servicio, como el de "asistente", y un género específico. También se produce a través de marcadores implícitos de género o etnia que se infieren del vocabulario, el conocimiento o el vernáculo utilizado por el AC, e incluso a partir de las descripciones o perfiles predefinidos del producto ofrecidos a los usuarios. Este proceso consolida representaciones sesgadas que socavan la percepción de neutralidad tecnológica.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit222
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Implementar principios de diseño conversacional que exijan la neutralidad de género y etnia en los Agentes Conversacionales (ACs). Esto incluye ofrecer activamente a los usuarios opciones de voces y nombres diversos (masculinos, femeninos y neutros), desvinculando la identidad del AC de roles estereotipados de asistencia para evitar la objetivación o la perpetuación de sesgos sociales. 2. Establecer un marco riguroso de gobernanza de datos y auditoría algorítmica para garantizar la representatividad, diversidad y equidad de los conjuntos de entrenamiento. Se deben realizar análisis continuos para detectar, medir y corregir los sesgos inherentes que surgen del procesamiento o la priorización discriminatoria de ciertas características, asegurando que los resultados sean imparciales y equitativos. 3. Fomentar la composición de equipos de desarrollo de IA multidisciplinarios e inclusivos, con representación equitativa de diferentes géneros y etnias. La diversidad en los equipos de diseño y entrenamiento es fundamental para incorporar perspectivas variadas y ejercer el pensamiento crítico necesario para identificar y abordar activamente los sesgos desde las etapas tempranas del ciclo de vida del producto.
EVIDENCIA ADICIONAL
Se ha argumentado que la asignación sistemática de género femenino a los Asistentes Conversacionales (ACs) fomenta la objetivación de las mujeres. Esto se logra al reforzar conceptualmente que ‘las mujeres son herramientas, instrumentos fetichizados para ser utilizados al servicio de los objetivos de los usuarios’ [36, 195, 202]. Un ejemplo palpable proviene de un estudio en Corea del Sur sobre cinco asistentes de voz comerciales, donde se encontró que todos presentaban voz femenina, se autodescribían como ‘hermosos’, sugerían ‘intimidad y subordinación’ y ‘abrazaban la objetivación sexual’ [85]. Asimismo, los sistemas de Inteligencia Artificial de naturaleza no lingüística tienden a representarse como ‘inteligentes, profesionales o poderosos’ y, notablemente, de etnia blanca. Esta última presentación tiene el efecto de perpetuar las asociaciones racistas históricas que vinculan la inteligencia con la blancura [35].