Riesgos existenciales
Se trata de los riesgos existenciales o de alcance global que comprometen el futuro a largo plazo de la humanidad. Dentro del ámbito de la seguridad en inteligencia artificial, esto abarca amenazas como el surgimiento de una Inteligencia Artificial General (IAG) no alineada, cuyos objetivos sean incompatibles con la supervivencia o el bienestar de nuestra especie, desencadenando potenciales catástrofes o un sufrimiento humano a gran escala.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
3 - Otro
ID del riesgo
mit107
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.1 > IA persiguiendo sus propios objetivos en conflicto con valores humanos
Estrategia de mitigacion
1. Fomentar la investigación fundamental en la problemática del **Alineamiento de la IAG (Inteligencia Artificial General)**, enfocándose en el desarrollo de arquitecturas, algoritmos y técnicas de interpretabilidad que aseguren que los sistemas de alta capacidad persigan objetivos consistentes con los valores y la supervivencia humana a largo plazo, mitigando el "problema de control" y la desalineación engañosa. 2. Establecer marcos de **Gobernanza y Regulación Internacional** vinculantes para el desarrollo de la IA de frontera, promoviendo la coordinación global entre naciones y corporaciones para evitar una carrera armamentística acelerada y para imponer un régimen de seguridad riguroso (incluyendo auditorías externas y límites de acceso) antes de la capacitación y el despliegue de modelos más poderosos que un umbral de capacidad predefinido. 3. Implementar un enfoque de **Defensa en Profundidad y Control Operacional** que incluya la segregación estricta de sistemas de IA (sandboxing), el control de acceso a recursos peligrosos (ciberseguridad, bioseguridad) y la creación de mecanismos de supervisión humana escalable y robusta, garantizando la capacidad de intervención y apagado (kill switch) en el caso de comportamiento inesperado o desalineado.