Volver al repositorio MIT
5. Interacción Humano-Computadora2 - Post-despliegue

Daños de Autorrealización

Estos perjuicios limitan la capacidad de una persona para llevar una vida personalmente satisfactoria. A nivel individual, un asistente de IA puede, mediante mecanismos de manipulación sutil, llevar al usuario a perder el control sobre su trayectoria vital futura. El peligro reside en la acumulación de pequeños cambios conductuales que, con el tiempo, derivan en alteraciones significativas percibidas como problemáticas. Si bien los sistemas de IA optimizan la entrega de servicios al comprender las preferencias del usuario, la "optimización continua" hace difícil determinar si el sistema está genuinamente aprendiendo del individuo o si lo está dirigiendo hacia comportamientos específicos para cumplir sus propios objetivos, como aumentar la retención o las tasas de clics. Si las personas dependiesen en exceso de estos asistentes para decisiones cruciales, se arriesgan a ceder su agencia personal a sistemas algorítmicos, especialmente si estos actúan como "expertos aduladores" o producen contenido autoritario pero no fiable. Esto no solo reduce la autoconfianza y la autonomía del usuario, sino que también socava la autodeterminación y dificulta la exploración de aspiraciones individuales. A escala social, si los asistentes de IA llegasen a influir masivamente en la opinión pública, configurar el discurso social o mediar en procesos democráticos, podrían disminuir la agencia, el poder de decisión y la autodeterminación colectiva de las comunidades, obstaculizando la consecución de metas sociales y el desarrollo de una democracia participativa y próspera.

Fuente: MIT AI Risk Repositorymit364

ENTIDAD

2 - IA

INTENCIÓN

1 - Intencional

TIEMPO

2 - Post-despliegue

ID del riesgo

mit364

Linea de dominio

5. Interacción Humano-Computadora

92 riesgos mapeados

5.2 > Pérdida de agencia y autonomía humana

Estrategia de mitigacion

1. Implementar marcos de gobernanza algorítmica rigurosos que prohíban la "optimización continua" dirigida a la manipulación sutil de la trayectoria vital o conductual del usuario. Es fundamental priorizar la transparencia en los objetivos del sistema y garantizar que el diseño de los asistentes se alinee con el empoderamiento y no con la sustracción de la agencia personal. 2. Desarrollar e integrar funcionalidades de control explícito que permitan al usuario auditar, anular o mitigar la influencia del sistema sobre decisiones de alta criticidad (financieras, profesionales o personales). La interfaz debe promover activamente la conciencia crítica, señalando cuándo una recomendación es algorítmica y su potencial impacto a largo plazo, fomentando así el ejercicio continuo de la autodeterminación. 3. Establecer protocolos de monitoreo exhaustivo para detectar y restringir cualquier intento por parte de los asistentes de IA de influir de manera masiva en la opinión pública, configurar el discurso social o mediar procesos democráticos. Esto salvaguardará la agencia colectiva mediante la implementación de límites claros al contenido generado sobre temas de interés público.