Volver al repositorio MIT
4. Actores Maliciosos y Mal Uso2 - Post-despliegue

Targeting y Personalización

Perfeccionar la generación de resultados con el fin de orquestar intervenciones maliciosas y altamente personalizadas, dirigidas a individuos concretos.

Fuente: MIT AI Risk Repositorymit1131

ENTIDAD

1 - Humano

INTENCIÓN

1 - Intencional

TIEMPO

2 - Post-despliegue

ID del riesgo

mit1131

Linea de dominio

4. Actores Maliciosos y Mal Uso

223 riesgos mapeados

4.3 > Fraude, estafas y manipulación dirigida

Estrategia de mitigacion

1. **Implementación de Salvaguardas Éticas y Técnicas en el Modelo GenAI** Se debe priorizar la integración de filtros robustos de contenido y detección de intenciones maliciosas (*prompt injection* y *jailbreaking*) dentro del sistema de IA generativa. Esto incluye restringir la capacidad del modelo para refinar y generar resultados con fines explícitos de orquestar intervenciones maliciosas, como la creación de código de ataque o contenido hiperpersonalizado que facilite la suplantación de identidad o el fraude a individuos concretos. 2. **Refuerzo del Principio de Mínimo Privilegio y Concienciación del Personal** Es fundamental aplicar el principio de Mínimo Privilegio (*Least Privilege*) y controles de acceso estrictos para limitar la exposición de datos sensibles y no sensibles que un actor malicioso podría recopilar y usar para personalizar ataques. Paralelamente, se debe establecer formación continua en ciberseguridad para el personal, enfatizando el reconocimiento de indicadores de *spear phishing* y otras técnicas de ingeniería social avanzadas potenciadas por IA, donde la gramática y el estilo son impecables. 3. **Validación Continua de Defensas y Gestión de la Superficie de Ataque** Se debe adoptar un enfoque proactivo de ciberseguridad que incluya la caza de amenazas (*Threat Hunting*) constante y la validación periódica de los controles de seguridad mediante simulación de ataques (*BAS - Breach and Attack Simulation*). Esta práctica garantiza que los mecanismos de defensa (EDR, MFA, segmentación de red) son eficaces contra las nuevas tácticas de manipulación impulsadas por IA, manteniendo los sistemas actualizados para cerrar vulnerabilidades conocidas.