Explotación de Herramientas Externas para Ataques
El riesgo clave surge cuando los Grandes Modelos de Lenguaje (LLMs) interactúan con herramientas y servicios de terceros. Los atacantes, bajo la apariencia de proveedores de herramientas, pueden *incrustar instrucciones maliciosas* directamente en las APIs o en las peticiones de los usuarios. Esto fuerza al LLM a *filtrar datos sensibles* que ha memorizado (ya sea información de entrenamiento confidencial o datos de la propia sesión del usuario), revelándolos a entidades externas (un problema documentado como CVE2023-32786). Además, la alimentación de datos no verificados desde estas herramientas externas a los LLMs abre la puerta a *ataques de inyección*. Si estos comandos maliciosos no son sanitizados, el riesgo puede escalar hasta permitir la *ejecución de código arbitrario* en el sistema subyacente (CVE-2023-29374), comprometiendo su integridad y control.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit30
Linea de dominio
2. Privacidad y Seguridad
2.2 > Vulnerabilidades y ataques a la seguridad del sistema de IA
Estrategia de mitigacion
1. **Implementación de Políticas de Saneamiento y Validación de Entradas:** Se requiere la aplicación de mecanismos estrictos de saneamiento y validación para todas las entradas de usuario y los datos provenientes de herramientas externas antes de ser procesados por el LLM o utilizados en llamadas a APIs. Esto debe incluir la restricción de caracteres peligrosos en las entradas (como secuencias de *path traversal* `../`) y el uso de listas blancas (*allowlists*) para URLs y rutas, mitigando así el riesgo de ataques de inyección y Server-Side Request Forgery (SSRF). 2. **Establecimiento de Monitoreo y Auditoría en Tiempo de Ejecución (*Runtime*):** Es imperativo implementar sistemas de monitoreo continuo que proporcionen visibilidad detallada sobre el comportamiento interno del LLM, los flujos de datos y la actividad de las bibliotecas externas. Este monitoreo debe enfocarse en la detección de desviaciones del comportamiento esperado y la evaluación de los permisos otorgados a cada herramienta, lo cual es crucial para identificar y mitigar ataques de código arbitrario y exfiltración de datos sensibles. 3. **Gestión Proactiva de la Cadena de Suministro de Software y Vulnerabilidades:** Se debe mantener un proceso riguroso para la actualización y parcheo inmediato de las bibliotecas y *frameworks* de LLM a sus versiones más estables, abordando vulnerabilidades conocidas (ej. CVE-2023-32786, CVE-2023-29374). Adicionalmente, se recomienda enfocar los esfuerzos de remediación prioritariamente en las dependencias que están siendo activamente utilizadas por el modelo en producción.