Riesgos de sistemas IA (Explotación de defectos/backdoors)
El riesgo se concentra en los cimientos del desarrollo de la Inteligencia Artificial. Las herramientas fundamentales, como las API estandarizadas, las librerías de características o los kits de software utilizados en las etapas de diseño, entrenamiento y verificación de algoritmos, pueden contener fallas lógicas o vulnerabilidades inherentes. Más allá de estos errores accidentales, el peligro crucial radica en la posibilidad de que se incrusten intencionalmente puertas traseras (backdoors) en estos componentes. Estas debilidades sistémicas representan un riesgo significativo de ser activadas y explotadas con fines maliciosos, permitiendo la orquestación de ataques.
ENTIDAD
1 - Humano
INTENCIÓN
3 - Otro
TIEMPO
3 - Otro
ID del riesgo
mit652
Linea de dominio
2. Privacidad y Seguridad
2.2 > Vulnerabilidades y ataques a la seguridad del sistema de IA
Estrategia de mitigacion
1. Implementar una rigurosa gestión de la seguridad de la cadena de suministro de IA, lo que implica la verificación y validación exhaustiva de todos los modelos, conjuntos de datos y librerías de terceros. Es imperativo establecer cláusulas contractuales explícitas que definan los estándares de seguridad y las expectativas de integridad de los componentes externos para mitigar la inyección intencional de *backdoors*. 2. Asegurar el Ciclo de Vida de Desarrollo de Sistemas de IA (AI SDLC) mediante la adopción sistemática de prácticas de codificación segura, la realización de revisiones de seguridad periódicas de los artefactos de diseño, las interfaces de desarrollo y las plataformas de ejecución, y la implementación de un proceso de gestión de vulnerabilidades que garantice la aplicación oportuna de actualizaciones y parches. 3. Desarrollar y desplegar mecanismos de defensa en tiempo de ejecución que incluyan la validación estricta de las entradas y sistemas de monitoreo continuo del comportamiento del sistema para la detección de anomalías. Complementariamente, realizar pruebas adversariales (*Red Teaming* y *fuzzing*) de manera sistemática para simular ataques y evaluar la resiliencia del modelo ante *triggers* encubiertos.