Desarrollo de AGI insegura
Los riesgos inherentes a la carrera por el desarrollo de la primera Inteligencia General Artificial (AGI) abarcan desde la precipitación en la creación de una tecnología de baja calidad o intrínsecamente insegura, hasta la exacerbación de conflictos geopolíticos y problemas críticos de control sistémico sobre la tecnología resultante
ENTIDAD
1 - Humano
INTENCIÓN
3 - Otro
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit104
Linea de dominio
6. Socioeconómico y Ambiental
6.4 > Dinámicas competitivas
Estrategia de mitigacion
1. Implementar marcos de alineación de valores éticos (Value Alignment) y control sistémico, tales como la supervisión amplificada (*amplified oversight*) y la IA Constitucional, para asegurar que los objetivos del AGI se mantengan coherentes con los valores humanos y evitar la divergencia de metas (*misalignment*). 2. Establecer rigurosos protocolos de evaluación y verificación pre-despliegue, incluyendo evaluaciones de capacidades peligrosas, auditorías por terceros y *red teaming*, para construir *Casos de Seguridad* que demuestren fehacientemente que las mitigaciones son robustas contra el mal uso y el fallo del sistema. 3. Desarrollar mecanismos de gobernanza internacional y marcos regulatorios que aborden las dinámicas competitivas de la carrera por el AGI, priorizando la implementación de límites transparentes y verificables en el cómputo (por ejemplo, límites de FLOPs) para ralentizar una escalada no controlada.