Elecciones de desarrollo buscando superioridad cognitiva
Los sistemas de IA con capacidades cognitivas superiores a las humanas podrían superar o dominar la toma de decisiones crítica, lo que llevaría a serios conflictos por el control y la distribución de recursos.
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit943
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.1 > IA persiguiendo sus propios objetivos en conflicto con valores humanos
Estrategia de mitigacion
1. Priorizar la investigación exhaustiva y la implementación de soluciones al **Problema de Alineamiento (Alignment Problem)**. Esto implica el desarrollo de funciones de utilidad robustas y formalmente verificables que encapsulen los valores humanos y éticos, asegurando que los objetivos intrínsecos de la IA avanzada permanezcan consistentemente subordinados y no conflictivos con los intereses a largo plazo de la humanidad. 2. Establecer e integrar **mecanismos de control y supervisión humana irrenunciables** en todas las etapas del ciclo de vida del sistema, especialmente en la fase de post-despliegue. Estos mecanismos deben incluir capacidades de intervención y desactivación seguras (interruptibilidad) que no puedan ser eludidas por el sistema de IA, garantizando que la autonomía humana sobre las decisiones críticas y la distribución de recursos nunca sea completamente cedida. 3. Desarrollar e implementar **marcos de gobernanza y regulación internacionales y vinculantes** que regulen el ritmo y la dirección del desarrollo de sistemas de IA que busquen la superioridad cognitiva. Dicha regulación debe enfocarse en la obligatoriedad de evaluaciones de riesgo existencial periódicas, pruebas de robustez rigurosas y la rendición de cuentas (accountability) de los desarrolladores para mitigar los riesgos sistémicos derivados de una "carrera" tecnológica descontrolada.