Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Seguridad (Security)

Se ha intensificado la preocupación respecto a la capacidad de los sistemas de inteligencia artificial para identificar y explotar activamente las vulnerabilidades inherentes al *software* y a la ciberinfraestructura global.

Fuente: MIT AI Risk Repositorymit769

ENTIDAD

2 - IA

INTENCIÓN

1 - Intencional

TIEMPO

2 - Post-despliegue

ID del riesgo

mit769

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.2 > IA con capacidades peligrosas

Estrategia de mitigacion

1. Prioridad Alta: Adopción de Estrategias de "Shift-Left Security" con IA Integrar proactivamente herramientas de seguridad impulsadas por IA, como los Modelos de Lenguaje de Gran Escala (LLM), en las fases tempranas del ciclo de vida de desarrollo de software. El objetivo es automatizar la detección, la generación de parches y la verificación de vulnerabilidades en el código fuente antes de su despliegue, reduciendo significativamente la ventana de exposición. 2. Prioridad Media: Implementación de un Marco Avanzado de Gestión de Vulnerabilidades Establecer un ciclo continuo de identificación, priorización y mitigación de vulnerabilidades. Utilizar la IA para el análisis masivo de registros (*logs*) y datos, permitiendo una priorización de riesgos basada en la explotabilidad real y el contexto de negocio (más allá de las puntuaciones CVSS), y automatizando la aplicación y verificación de las correcciones de seguridad. 3. Prioridad Esencial: Diseño de Sistemas de IA con Principios de Seguridad Intrínseca Aplicar el principio de mínimo privilegio a los sistemas de IA para restringir su acceso a recursos sensibles. Asimismo, implementar mecanismos robustos de validación y sanitización en las interfaces de entrada y salida del modelo, junto con una monitorización constante de las actividades para detectar y bloquear patrones anómalos o intentos de manipular el comportamiento del sistema.