Volver al repositorio MIT
4. Actores Maliciosos y Mal Uso2 - Post-despliegue

Asistencia en generación de código para amenazas de ciberseguridad

Amenaza prospectiva: Los desarrolladores de herramientas de codificación asistida basadas en modelos grandes de lenguaje (como Co-Pilot, que emplea GPT-3) han señalado que esta tecnología tiene el potencial de abaratar significativamente la creación de *malware* polimórfico. Este tipo de software malicioso representa un riesgo elevado, ya que puede modificar continuamente su código y estructura interna para evadir los mecanismos de detección de seguridad.

Fuente: MIT AI Risk Repositorymit218

ENTIDAD

1 - Humano

INTENCIÓN

1 - Intencional

TIEMPO

2 - Post-despliegue

ID del riesgo

mit218

Linea de dominio

4. Actores Maliciosos y Mal Uso

223 riesgos mapeados

4.2 > Ciberataques, desarrollo o uso de armas y daño masivo

Estrategia de mitigacion

1. Detección Avanzada en Tiempo Real: Implementar soluciones de Detección y Respuesta en Endpoints (EDR/XDR) que empleen análisis de comportamiento y aprendizaje automático (ML/AI). Esta estrategia es crítica para contrarrestar el malware polimórfico, cuya capacidad de mutación elude los métodos tradicionales basados en firmas, garantizando la identificación y neutralización proactiva de amenazas emergentes. 2. Gobernanza de Modelos de Lenguaje (LLMs) y Red Teaming: Incorporar la práctica de Red Teaming y aplicar rigurosas técnicas de alineamiento (como Reinforcement Learning from Human Feedback - RLHF) durante las fases de entrenamiento y post-despliegue. El objetivo es identificar y mitigar activamente los vectores de explotación que podrían permitir al modelo asistir en la generación de código malicioso. 3. Gestión Proactiva de la Superficie de Ataque: Establecer un programa de gestión de parches automatizado e inmediato para la actualización de todo el software y los sistemas operativos. Adicionalmente, aplicar el principio de Mínimo Privilegio a través de soluciones de Privileged Access Management (PAM) para reducir el riesgo de explotación de vulnerabilidades por parte de actores maliciosos.

EVIDENCIA ADICIONAL

Los riesgos de la desinformación generada por modelos de lenguaje (LMs) convergen con la aparición de nuevas amenazas para la ciberseguridad. Se ha evidenciado que esta desinformación puede ser dirigida a dominios específicos, como el de la ciberseguridad, con el fin de desviar la atención de los especialistas, impidiendo que aborden vulnerabilidades genuinas y críticas [155].