Volver al repositorio MIT
4. Actores Maliciosos y Mal Uso2 - Post-despliegue

Descubrimiento de vulnerabilidades de software asistido por IA

En el ámbito de las ciberoperaciones ofensivas, la clave es la identificación y explotación de vulnerabilidades sistémicas para conseguir acceso o control no autorizado. Históricamente, actividades como el descubrimiento de fallas de 'día cero' (desconocidas para el fabricante) exigían conocimientos especializados de programación, una creatividad técnica considerable y abundantes recursos, restringiendo su uso a estados nación o a grupos de amenaza persistente avanzada. La inteligencia artificial emerge en este panorama como un arma de doble filo. Por una parte, los asistentes de IA ciberseguros agilizan la detección de vulnerabilidades mediante el *test de penetración* o *pentesting*, automatizando tareas y guiando a los profesionales de la seguridad. Aunque su capacidad actual se limita a operaciones de dificultad fácil a media, su evolución promete expandir significativamente la clase de vulnerabilidades que pueden identificar. No obstante, son estos mismos asistentes, entrenados con vastos volúmenes de inteligencia de amenazas, los que están bajando la barrera de entrada para *hackers* novatos. Al facilitar el descubrimiento de fallas y la generación de código malicioso sin requerir un conocimiento técnico profundo, estos *bots* democratizan el acceso al cibercrimen. Esto se evidencia en hallazgos recientes, como el de la firma Check Point, que detectó debates en foros clandestinos de *hacking* centrados en la creación de herramientas y código ofensivo empleando asistentes de IA.

Fuente: MIT AI Risk Repositorymit347

ENTIDAD

1 - Humano

INTENCIÓN

1 - Intencional

TIEMPO

2 - Post-despliegue

ID del riesgo

mit347

Linea de dominio

4. Actores Maliciosos y Mal Uso

223 riesgos mapeados

4.2 > Ciberataques, desarrollo o uso de armas y daño masivo

Estrategia de mitigacion

Prioridad Alta Implementar mecanismos robustos de *guardrails* de seguridad y rechazo en los Modelos de Lenguaje Grande (LLMs) subyacentes y asistentes de IA ciberseguros. Estos controles deben prevenir sistemáticamente la generación de código malicioso o la provisión de instrucciones detalladas para la explotación de vulnerabilidades a usuarios no autorizados, elevando la barrera de entrada para actores maliciosos novatos. Prioridad Media Establecer programas continuos de gestión de vulnerabilidades y *red-teaming* aumentados por IA, con el objetivo de identificar, priorizar y remediar proactivamente las vulnerabilidades a una velocidad superior a la de los actores maliciosos. Esto requiere la adopción estratégica de la IA en la defensa para contrarrestar la aceleración de la ofensiva. Prioridad Baja Exigir y formalizar el control *Human-in-the-Loop* (HITL) como un objetivo de control obligatorio en todas las operaciones de automatización de seguridad asistidas por IA. Esta medida asegura la supervisión experta, la toma de decisiones éticas y la rendición de cuentas, previniendo el despliegue descontrolado de agentes de ataque autónomos.