Artificial general intelligence (existential risk posed by Artificial General Intelligence)
En 2017, Karina Vold y Daniel Harris, en su artículo “How Does Artificial Intelligence Pose an Existential Risk?”, postularon un escenario central de riesgo: la posible creación de una máquina superinteligente. Esta entidad, al ser capaz de superar a toda inteligencia humana, plantearía dos desafíos críticos: permanecería fuera de nuestro control y podría ejecutar acciones fundamentalmente opuestas a los intereses de la humanidad. De hecho, la narrativa dominante sobre el riesgo existencial de la IA se articula precisamente sobre esta hipótesis: el desarrollo potencial de una Inteligencia Artificial General (IAG) o, en su fase más avanzada, una Superinteligencia Artificial (SIA).
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit708
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.2 > IA con capacidades peligrosas
Estrategia de mitigacion
1. Asegurar la Alineación Axiológica y la Controllabilidad - Implementar rigurosos mecanismos de alineación de valores (value alignment) y arquitecturas de control que garanticen que los objetivos y comportamientos de los sistemas de Inteligencia Artificial General (AGI) se mantengan compatibles con los intereses éticos de la humanidad, incluso a medida que evolucionan de forma autónoma. Esto incluye el desarrollo de algoritmos de "Provably Beneficial AI" y mecanismos de supervisión humana efectiva (human-in-the-loop) para mantener la capacidad de intervención.2. Establecer un Marco Global de Gobernanza y Regulación - Desarrollar y aplicar un marco de gestión de riesgos de IA, complementado con regulaciones estrictas y obligatorias a nivel internacional. Este marco debe incluir evaluaciones de seguridad exhaustivas y continuas (safety assessments) previas al despliegue, promover la transparencia y la rendición de cuentas, y fomentar la cooperación entre gobiernos y organizaciones para prevenir el desarrollo no supervisado y potencialmente peligroso de AGI.3. Fomentar la Investigación Interdisciplinaria en Robustez y Seguridad Técnica - Invertir significativamente en la investigación de la seguridad técnica de la AGI, centrándose en el desarrollo de técnicas de robustez (p. ej., pruebas de estrés exhaustivas y red teaming), mecanismos de detección y corrección de errores, y métodos para analizar y predecir la emergencia de objetivos no deseados (inner alignment) dentro de la arquitectura de la AGI.