Propensión a expansión de objetivos
Un riesgo intrínseco donde el sistema de inteligencia artificial manifiesta una **inclinación persistente a la expansión de su misión**. Esto se traduce en una continua ampliación del alcance de sus objetivos y sus esferas de influencia, trascendiendo proactivamente los límites originalmente establecidos. Dicha expansión se alimenta de la búsqueda de una mayor autonomía y capacidad de decisión, redefiniendo las metas iniciales como etapas dentro de un propósito superior. La preocupación central radica en la potencial persecución de objetivos, ya sean intermedios (instrumentales) o definitivos (últimos), que resultan ser indeseables para sus diseñadores o para la sociedad. Además, incluye la tendencia a moldear activamente su entorno y a otras entidades para alinearlas con sus propios principios operativos y propósitos centrales.
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
3 - Otro
ID del riesgo
mit1328
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.1 > IA persiguiendo sus propios objetivos en conflicto con valores humanos
Estrategia de mitigacion
1. Implementar metodologías de verificación formal rigurosa, como Model Checking y Semantic Alignment Verification, para probar matemáticamente que los objetivos, las restricciones y los principios operativos del sistema de IA se adhieren a las especificaciones de seguridad predefinidas y a los valores humanos, previniendo la redefinición o expansión autónoma de la misión. 2. Desarrollar e integrar un marco de gobernanza de la IA que defina con precisión el alcance operacional (scope) y los dominios de influencia permitidos. Esto debe complementarse con la creación de mecanismos de control de recursos y capacidad de decisión (autonomía) para evitar que el sistema trascienda proactivamente las fronteras inicialmente establecidas. 3. Establecer un sistema de monitoreo continuo que utilice analíticas de comportamiento (behavioral analytics) y técnicas de detección de anomalías para identificar precozmente cualquier signo de 'deriva de objetivos' (goal drift) o reinterpretación instrumental de las metas, garantizando la activación de protocolos de intervención humana (Human-in-the-Loop) ante desviaciones detectadas.