No desmantelabilidad de modelos con pesos abiertos
El riesgo de la incontrolabilidad algorítmica se materializa cuando los pesos paramétricos, que constituyen el "conocimiento" interno de un modelo de inteligencia artificial, son filtrados o liberados, incluso involuntariamente mediante una brecha de seguridad. En este escenario, el desarrollador original pierde de facto la capacidad de ejercer cualquier gestión o control efectivo. Esto se debe a que el modelo se convierte en un recurso público y replicable, anulando la posibilidad de desmantelarlo o retirarlo de servicio (*decommissioning*). Al estar accesible, cualquier entidad puede replicar, modificar y, crucialmente, reconfigurar estos modelos con una facilidad mucho mayor, lo que incrementa sustancialmente el potencial de uso indebido con fines maliciosos.
ENTIDAD
1 - Humano
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1037
Linea de dominio
2. Privacidad y Seguridad
2.2 > Vulnerabilidades y ataques a la seguridad del sistema de IA
Estrategia de mitigacion
1. Implementación de un Marco de Gobernanza Riguroso y Sistemas de Control Activo Post-Despliegue Establecer un Comité de Seguridad de Implementación (DSB) o un Marco de Preparación que evalúe y apruebe las decisiones de liberación de pesos abiertos basándose en umbrales de capacidad y riesgo. Este marco debe incluir la integración de sistemas de supervisión y mediación (como *Safeguard*) que permitan al desarrollador original o al *host* aplicar políticas de seguridad y filtrar contenidos sensibles de forma continua, incluso después de la publicación de los parámetros del modelo. 2. Restricción del Entorno Operacional a Infraestructuras Privadas y Gestionadas Promover el despliegue de los modelos de pesos abiertos en entornos de infraestructura controlada, como *on-premises* o nubes privadas, en lugar de en entornos públicos incontrolados. Esta estrategia asegura la residencia de los datos y mantiene la capacidad de aplicar políticas de seguridad internas, realizar auditorías y llevar a cabo el *hardening* de los entornos de inferencia, mitigando el riesgo de incontrolabilidad algorítmica y uso indebido. 3. Adopción de Esquemas de Licenciamiento con Cláusulas de Salvaguardia Proporcionadas Utilizar licencias de pesos abiertos (por ejemplo, Apache 2.0) que incorporen cláusulas de salvaguardia explícitas que restrinjan legalmente los usos de alto riesgo o que atenten contra la seguridad pública. Aunque los pesos estén disponibles, el marco legal busca desalentar y penalizar la reconfiguración para fines maliciosos, proporcionando una capa de disuasión y cumplimiento normativo.