Volver al repositorio MIT
4. Actores Maliciosos y Mal Uso2 - Post-despliegue

Ataques de spear phishing impulsados por IA

El uso indebido de los modelos generativos representa una amenaza crítica, ya que permite dirigir ataques de manera mucho más eficiente hacia usuarios individuales gracias a la hiperpersonalización de los mensajes [23]. Esto facilita la creación de esquemas fraudulentos automatizados y sumamente convincentes que minan la confianza de las víctimas para extraer datos sensibles, incrementando drásticamente la probabilidad de éxito del engaño. En el contexto de los Grandes Modelos de Lenguaje (LLM), por ejemplo, esta explotación puede verse agravada por el uso de técnicas de "jailbreaking" [178]

Fuente: MIT AI Risk Repositorymit1069

ENTIDAD

1 - Humano

INTENCIÓN

1 - Intencional

TIEMPO

2 - Post-despliegue

ID del riesgo

mit1069

Linea de dominio

4. Actores Maliciosos y Mal Uso

223 riesgos mapeados

4.3 > Fraude, estafas y manipulación dirigida

Estrategia de mitigacion

1. Prioridad Máxima: Implementar un régimen de capacitación en seguridad adaptativo y continuo que se centre en el factor humano, instruyendo a los empleados sobre la naturaleza hiperpersonalizada de los ataques impulsados por IA. Es fundamental establecer y hacer cumplir un protocolo de verificación fuera de banda (out-of-band verification) para todas las solicitudes urgentes de transferencia de fondos o datos sensibles, con el objetivo de anular la manipulación psicológica inherente a estos esquemas. 2. Alta Prioridad: Establecer el uso obligatorio de métodos de autenticación multifactor (MFA) resistentes al phishing, tales como llaves de seguridad físicas o credenciales criptográficas (passkeys). Concomitantemente, se debe adoptar una Arquitectura de Confianza Cero (Zero Trust Architecture, ZTA) para garantizar que, incluso en caso de compromiso de credenciales, el acceso esté estrictamente limitado por el Principio de Mínimo Privilegio (Principle of Least Privilege). 3. Prioridad Técnica: Reforzar los cimientos de la seguridad del correo electrónico mediante la aplicación estricta de estándares de autenticación como DMARC (Domain-based Message Authentication, Reporting, and Conformance). Paralelamente, se debe desplegar un sistema avanzado de filtrado de correo electrónico que utilice análisis conductual y de contexto basado en IA para identificar patrones anómalos que los filtros tradicionales no logran detectar en el contenido generado por IA.