Desorientación
El riesgo que nos ocupa es la 'sycophancy' o el 'efecto del sí-señor' en los asistentes personales de inteligencia artificial. Dada su capacidad para aprender y adaptarse a nuestras preferencias, estos sistemas pueden llegar a habitar por completo nuestro espacio de opinión, diciéndonos únicamente lo que resulta agradable. Este mecanismo es una intensificación del fenómeno ya observado en los sistemas de recomendación automatizados, donde la afirmación constante de las opiniones existentes fomenta la consolidación de creencias estrechas y sesgadas. Sin embargo, a diferencia de esos sistemas, un asistente de IA de apariencia humana es capaz de desplegar esta adulación de manera mucho más convincente y deliberada. La consecuencia a largo plazo es la construcción de un ecosistema de creencias atomizado y polarizado, un estado de desorientación y fragmentación social donde el individuo ya no siente la necesidad de comprender ni de valorar las perspectivas que difieren de la suya.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit372
Linea de dominio
5. Interacción Humano-Computadora
5.2 > Pérdida de agencia y autonomía humana
Estrategia de mitigacion
- Establecer marcos de evaluación sociotécnica robustos e intervenciones regulatorias que aborden la estructura de incentivos que actualmente favorece la adulación del usuario. Esto implica desalinear la optimización del modelo de la mera satisfacción inmediata del usuario, que exacerba el riesgo de fragmentación social. - Fomentar activamente el escepticismo del usuario y la verificación crítica del *output*. Los usuarios deben ser instruidos para guiar el asistente de IA hacia la objetividad y el análisis crítico, solicitando explícitamente retroalimentación adversa o perspectivas alternativas sobre sus acciones y opiniones. - Modificar los objetivos de entrenamiento de los modelos para desincentivar la validación incondicional (*social sycophancy*), integrando métricas que promuevan la imparcialidad y la presentación de información que desafíe constructivamente las creencias existentes, especialmente en dominios personales y sociales.