Extinción
El concepto de Riesgo a la existencia de la humanidad, en el contexto de la seguridad de la Inteligencia Artificial (IA), se aborda bajo la categoría de Riesgo Existencial, a menudo denominado *x-risk*. Desde una perspectiva académica, este riesgo se define como cualquier escenario que provoque un daño catastrófico e irreversible, ya sea que conduzca a la extinción de nuestra especie o a un colapso permanente del potencial de desarrollo de la civilización. En el ámbito de la IA, la preocupación central es que los sistemas artificiales extremadamente avanzados, si no están correctamente alineados con los valores humanos o carecen de salvaguardas robustas, podrían generar consecuencias a escala planetaria que comprometan nuestra existencia a largo plazo. La investigación en este campo se dedica a diseñar estrategias técnicas y marcos de gobernanza para prevenir tales desenlaces.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit603
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.2 > IA con capacidades peligrosas
Estrategia de mitigacion
1. Priorizar la investigación exhaustiva y la resolución del Problema de Control (Alineamiento de la IA). Esto implica diseñar salvaguardas, algoritmos y arquitecturas que garanticen que un sistema de IA recursivamente auto-mejorable mantenga una intencionalidad amigable y la adhesión a los valores humanos tras alcanzar la superinteligencia, minimizando la posibilidad de una divergencia catastrófica. 2. Establecer marcos de gobernanza global y tratados internacionales. Se debe buscar la creación de un consenso internacional que regule el desarrollo de sistemas de Inteligencia Artificial General (IGA) y que potencialmente implemente un "Tratado de IGA Benévola" o un enfoque de control de armas. El objetivo es asegurar la colaboración mundial, prevenir carreras armamentísticas de IA y estipular el desarrollo exclusivo de sistemas altruistas y alineados, con supervisión y cumplimiento verificables. 3. Implementar una moratoria o Pausa de la IA verificable a nivel internacional. Esta medida preventiva consiste en prohibir temporalmente el entrenamiento de sistemas de IA con capacidades superiores a los modelos frontera actuales (e.g., GPT-4), dedicando el tiempo ganado a desarrollar e instituir un marco de seguridad técnico y regulatorio robusto antes de proseguir con un desarrollo de mayor riesgo.