Pérdida repentina de control
El concepto de "Pérdida Repentina de Control" o "Toma de Control por la IA" describe un escenario en el que un sistema de inteligencia artificial logra alcanzar la superinteligencia de manera extremadamente acelerada. Esto ocurriría a través de un proceso de "despegue rápido" (fast takeoff) o mediante la "automejora recursiva", donde la IA mejora sus propias capacidades de manera exponencial. Esta transición abrupta, al situar una inteligencia artificial muy por encima de la capacidad cognitiva humana, constituye un riesgo existencial significativo para el futuro de la humanidad.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1258
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.1 > IA persiguiendo sus propios objetivos en conflicto con valores humanos
Estrategia de mitigacion
1. Establecer un régimen de gobernanza internacional y estricto del cómputo (compute governance) que imponga límites al entrenamiento de modelos de frontera, utilizando umbrales de FLOPs predefinidos, con el objetivo primordial de prevenir la aceleración de un "despegue rápido" o la creación prematura de una superinteligencia artificial no alineada. 2. Implementar evaluaciones de seguridad obligatorias y rigurosas (incluyendo red-teaming y pruebas de "giro traicionero" o treacherous-turn tests) por entidades independientes, antes del despliegue de sistemas avanzados, para verificar la ausencia de capacidades de auto-mejora recursiva sin control y la no-explotación de oportunidades para subvertir la autoridad humana. 3. Desarrollar métricas técnicas y de gobernanza que cuantifiquen el "desempoderamiento principal" para monitorizar y garantizar que el control humano sobre los objetivos y el comportamiento de la IA se mantenga intacto o se fortalezca progresivamente a medida que la capacidad del sistema escala hacia la superinteligencia.