Uso Malicioso
El uso malicioso de los sistemas de IA se manifiesta en la reducción de costos y la simplificación de procesos para actores con intenciones nocivas. Esto facilita la ejecución de actividades perjudiciales a gran escala, como el fraude económico o la producción y accesibilidad de armamento. En esencia, la inteligencia artificial actúa como un multiplicador de fuerza para la amenaza.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit268
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.0 > Uso malicioso
Estrategia de mitigacion
1. Instaurar procedimientos de verificación de autenticidad *out-of-band* para transacciones o solicitudes críticas y desplegar programas de formación continua dirigidos a ejecutivos y empleados para el reconocimiento de tácticas avanzadas de ingeniería social habilitadas por IA (como los *deepfakes*), priorizando la validación sobre la credibilidad aparente. 2. Implementar la autenticación multifactor (MFA) resistente a la suplantación de identidad (*phishing*) y aplicar el principio de menor privilegio para la gestión de accesos a sistemas y *endpoints* de modelos, como defensa primordial contra el escalamiento de privilegios resultante del uso malicioso. 3. Realizar una validación exhaustiva de los conjuntos de datos de entrenamiento, los modelos y las integraciones de terceros para garantizar su seguridad e integridad, y aplicar técnicas de validación estricta de entradas y monitoreo continuo del comportamiento en tiempo de ejecución para la mitigación de ataques adversarios y la inyección de *prompts* maliciosos.
EVIDENCIA ADICIONAL
Los sistemas de inteligencia artificial han alcanzado la capacidad de generar imágenes deepfake de manera económica y a una escala masiva (Amoroso et al., 2023).