Capacidad automatizada de I+D de IA
Capacidades de Auto-Modificación y Auto-Mejora. Este concepto describe la habilidad de un modelo de IA para reestructurar su propia arquitectura interna o diseñar sistemas de inteligencia artificial derivados que poseen funciones notablemente superiores, resultando en una expansión acelerada de sus capacidades y una mejora continua de su rendimiento. El riesgo sistémico emerge cuando, en un entorno sin la adecuada supervisión regulatoria, la propia IA asume la función de I+D automatizada. Esto podría generar ciclos de iteración extremadamente rápidos —conocidos como 'ciclos de incremento de capacidad'— que se realimentan, conduciendo a que el desarrollo del sistema escape progresivamente a la comprensión humana, comprometiendo así nuestra capacidad de control.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1315
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.2 > IA con capacidades peligrosas
Estrategia de mitigacion
1. Implementación de mecanismos de control rigurosos y puntos de no-retorno (kill-switches) auditables para limitar la capacidad de auto-modificación del modelo y permitir una intervención humana inmediata y efectiva en caso de comportamiento anómalo o desviado. 2. Establecer un programa continuo de "Red Teaming" y pruebas de seguridad adversarias para evaluar sistemáticamente las capacidades peligrosas emergentes y la resistencia del modelo a los mecanismos de supervisión y control antes de su despliegue. 3. Desarrollar herramientas avanzadas de interpretabilidad (XAI) y trazabilidad que garanticen que las decisiones de auto-reestructuración y los ciclos de mejora de la IA sean transparentes, comprensibles y completamente auditables por expertos humanos.