Humanos podrían ceder control a sistemas desalineados
A nivel global, diversas organizaciones ya están implementando sistemas de inteligencia artificial "desalineados" (es decir, que no cumplen con los objetivos humanos previstos), los cuales están generando perjuicios de maneras a menudo inesperadas. Por ejemplo, se ha observado que los algoritmos de recomendación aumentan el consumo de contenido extremista. En el ámbito médico, se ha documentado que algunos algoritmos han provocado diagnósticos erróneos y sugerido prescripciones incorrectas. A pesar de estos riesgos evidentes, la transferencia de control hacia estos sistemas continúa. Esto se debe a una paradoja: o bien la IA sigue siendo tan o más efectiva que la toma de decisiones humana, o simplemente resulta ser la opción más económica.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit1251
Linea de dominio
5. Interacción Humano-Computadora
5.2 > Pérdida de agencia y autonomía humana
Estrategia de mitigacion
1. Implementación obligatoria de marcos de gobernanza de la IA que exijan evaluaciones de alineación y auditorías de riesgo pre-despliegue rigurosas para todos los sistemas con capacidad de toma de decisiones críticas (ej., diagnósticos médicos o recomendaciones de contenido socialmente sensible). Estas auditorías deben verificar que el sistema opera dentro de los objetivos éticos y humanos previstos antes de la transferencia de control. 2. Establecimiento de mecanismos de monitoreo continuo y en tiempo real del rendimiento del sistema, incluyendo indicadores de resultado inesperado, sesgo o comportamiento desalineado. Esto debe acoplarse con la obligatoriedad de mantener estructuras de responsabilidad humana explícita y puntos de intervención definidos (*human-in-the-loop*) para decisiones de alto impacto. 3. Desarrollo de programas integrales de gestión de la interacción humano-computadora para mitigar el riesgo de exceso de dependencia sistémica. Estos programas deben incluir formación específica para usuarios y líderes organizacionales sobre las limitaciones de la IA, la criticidad de la validación humana de la salida y la identificación de posibles impactos psicológicos de la automatización.