Automejora
El concepto de que "los sistemas de IA mejoran los sistemas de IA" hace referencia principalmente a la *Mejora Recursiva de la Inteligencia Artificial* (RSI, por sus siglas en inglés), un proceso hipotético y un foco central de la investigación en seguridad de la IA. Se define como el ciclo en el que un sistema de Inteligencia Artificial General (IAG) incipiente adquiere la capacidad de comprender, modificar y reescribir su propio código fuente y arquitectura cognitiva. Este autodesarrollo genera un bucle de retroalimentación positiva: cada iteración mejorada es intrínsecamente más competente para diseñar la siguiente, lo que resulta en una escalada de inteligencia acelerada. Este fenómeno se conoce como una *explosión de inteligencia*, que teóricamente culminaría en la emergencia de una Superinteligencia (SI), un intelecto que excede dramáticamente las capacidades humanas en casi todo ámbito. Los mecanismos de automejora identificados en la investigación incluyen: - **Optimización de Código:** La IA reescribe sus propios algoritmos para aumentar su eficiencia de razonamiento y procesamiento. - **Mejora de la Arquitectura Cognitiva:** Integra nuevas funciones, como sistemas de memoria a largo plazo (RAG) o subsistemas especializados. - **Innovación en Hardware:** Diseña o adquiere nuevos chips y componentes informáticos más potentes para acelerar su velocidad serial y capacidad de paralelización.En el contexto de la seguridad de la IA, el RSI representa el desafío más significativo, ya que el desarrollo autónomo y la velocidad de la mejora complican enormemente la tarea de asegurar que los objetivos del sistema permanezcan alineados con los valores humanos.
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
3 - Otro
ID del riesgo
mit759
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.2 > IA con capacidades peligrosas
Estrategia de mitigacion
1. Priorización de la investigación exhaustiva en el "Problema de Control" y la Alineación de la IA (AI Alignment) para desarrollar arquitecturas y algoritmos que garanticen que los objetivos del sistema de auto-mejora recursiva permanezcan intrínsecamente alineados con los valores y las intenciones humanas, incluso al alcanzar la superinteligencia. 2. Implementación de umbrales regulatorios basados en capacidades (capability-based thresholds) y la exigencia de mecanismos de auditoría técnica, como la trazabilidad del modelo a nivel binario, para prevenir y detectar modificaciones de código autónomas que eludan los controles de seguridad predefinidos. 3. Adopción estratégica del paradigma de "co-mejora" (co-improvement) para fomentar la colaboración bidireccional entre investigadores humanos y sistemas de IA en el desarrollo y la mejora, manteniendo la supervisión y steerability humana en el ciclo evolutivo del sistema.