Uso Malicioso de IA
El uso malicioso de la inteligencia artificial representa una amenaza potencial para la seguridad en sus dimensiones digital, física y política. A nivel global, las agencias de aplicación de la ley se enfrentan a una compleja gama de riesgos derivados de la utilización perversa de la IA.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit441
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.3 > Fraude, estafas y manipulación dirigida
Estrategia de mitigacion
1. Gobernanza y Monitoreo Continuo del Ciclo de Vida de la IA Implementar un marco de gobernanza integral para la gestión de activos, modelos y datos de IA, asegurando la trazabilidad de las fuentes de datos. Se debe desplegar un monitoreo continuo para detectar anomalías en la calidad de los datos (p. ej., envenenamiento) y desviaciones en el comportamiento del modelo durante la fase de post-despliegue. 2. Robustez del Modelo y Defensas Adversariales Fortalecer los modelos de inteligencia artificial contra ataques de manipulación, como la inyección de instrucciones (*prompt injection*) y los ejemplos adversariales. Esto se logra mediante la aplicación de entrenamiento adversarial y la implementación de validación estricta de entradas y monitoreo de comportamiento en tiempo de ejecución. 3. Controles de Acceso y Concientización Estratégica Establecer políticas de seguridad de datos basadas en el principio de mínimo privilegio (*least privilege*) y asegurar el uso de cifrado robusto para la información sensible. Es esencial invertir en capacitación para el personal que aborde los riesgos emergentes derivados de la utilización maliciosa de la IA, como la suplantación de identidad automatizada (*phishing*) y el fraude con *deepfakes*.
EVIDENCIA ADICIONAL
La IA puede ser utilizada para la ejecución directa de un acto ilícito o para subvertir la operatividad de otro sistema de inteligencia artificial mediante la manipulación deliberada de sus datos