Failures in or misuse of intermediary (non-AGI) AI systems, resulting in catastrophe
Los riesgos catastróficos clave de la Inteligencia Artificial en el ámbito de la seguridad global se centran en la implementación de sistemas de IA "prepotentes", aquellos no-generales pero capaces de superar el desempeño colectivo humano en áreas críticas. Esto incluye la militarización de la IA para ataques masivos mediante enjambres de armas autónomas letales, así como el potencial de una escalada nuclear (intencional o no) si los sistemas de *machine learning* se integran en el comando y control nuclear, o si sistemas convencionales asistidos por IA (como buques) causan provocación. Finalmente, existe la preocupación por la utilización de la IA para acelerar la investigación de armas catastróficamente peligrosas, como las biológicas, y el rol de los arsenales nucleares como una amenaza persistente en este nuevo panorama tecnológico.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit763
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.2 > Ciberataques, desarrollo o uso de armas y daño masivo
Estrategia de mitigacion
1. Restricción y control de capacidades de alto riesgo: Implementar controles de acceso rigurosos (ej. sistemas *know-your-customer*, monitoreo de cómputo) para modelos de IA con potencial para el desarrollo de armas biológicas o químicas. Esto incluye la eliminación o limitación de capacidades biológicas en los sistemas de IA destinados al uso general, así como la aplicación de controles de exportación sobre tecnologías de IA críticas. 2. Gobernanza internacional y coordinación para la seguridad: Establecer mecanismos de coordinación y acuerdos internacionales para prevenir una escalada nuclear inadvertida o intencional debido a la integración de sistemas de *machine learning* en el comando y control nuclear. Paralelamente, se requiere la regulación y control estricto del desarrollo y despliegue de enjambres de sistemas de armas autónomas letales. 3. Imposición de responsabilidad legal al desarrollador: Establecer un régimen de responsabilidad legal estricta sobre los desarrolladores de sistemas de IA de propósito general, haciéndolos responsables por los daños derivados de fallos o el mal uso catastrófico de sus sistemas. Esto crea un incentivo económico y ético para priorizar la seguridad en el diseño y el despliegue.