Riesgo de Seguridad de Datos
Así como diversos individuos y organizaciones han explorado las posibles aplicaciones de los productos de IA generativa, los actores maliciosos no son la excepción. Esto puede manifestarse como la facilitación o la escalabilidad de métodos de amenaza ya existentes, por ejemplo, la redacción automatizada de código malicioso (malware), los intentos de compromiso de correo electrónico empresarial (Business Email Compromise o BEC) y las campañas de phishing. También podría adoptar la forma de nuevos tipos de vectores de amenaza. Entre ellos se incluye la extracción de información delicada del conjunto de datos del modelo de aprendizaje de la IA, o la técnica de "envenenamiento" del conjunto de datos de entrenamiento al inyectar información estratégicamente errónea. Además, debemos anticipar la aparición de nuevos vectores de ataque que aún no hemos siquiera concebido, pero que serán posibles o mucho más accesibles gracias a la IA generativa.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
3 - Otro
ID del riesgo
mit492
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.3 > Fraude, estafas y manipulación dirigida
Estrategia de mitigacion
1. Priorizar el establecimiento de un Marco de Gobernanza de IA integral (por ejemplo, alineado con el NIST AI RMF) que defina políticas de uso responsable, roles y responsabilidades. Complementariamente, se debe implementar una arquitectura de Confianza Cero (Zero Trust) con el principio de mínimo privilegio para limitar el acceso de usuarios y agentes a modelos y conjuntos de datos, mitigando la exfiltración de información. 2. Reforzar la higiene de datos y la seguridad del ciclo de vida del modelo mediante la clasificación, anonimización o cifrado riguroso de los datos de entrenamiento y de entrada. Es crucial aplicar técnicas de validación de entradas (sanitización) y filtros contextuales avanzados para defenderse contra el envenenamiento de datos y los ataques de inyección de prompts. 3. Implementar un sistema de monitoreo continuo en tiempo real para rastrear entradas, salidas y métricas de rendimiento del modelo, facilitando la detección temprana de comportamientos anómalos o ataques. Dicha monitorización debe integrarse con un plan de respuesta a incidentes específico para GenAI y complementarse con pruebas adversarias periódicas.