Medidas de Seguridad Insuficientes
En el ámbito de la seguridad de la IA, la investigación se centra en dos vectores de riesgo primordiales. Primero, actores maliciosos pueden explotar vulnerabilidades inherentes a los algoritmos para manipular sus resultados, lo que potencialmente genera consecuencias tangibles y directas en el mundo real. Segundo, y no menos importante, es imperativo abordar la protección de la privacidad y la gestión responsable de los datos, especialmente considerando la vasta demanda de información que caracteriza a estos sistemas. El equilibrio entre la extracción de conocimiento valioso y la estricta conservación de la privacidad constituye un desafío intrínsecamente delicado que requiere una atención rigurosa.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit442
Linea de dominio
2. Privacidad y Seguridad
2.2 > Vulnerabilidades y ataques a la seguridad del sistema de IA
Estrategia de mitigacion
1. Integrar de manera proactiva los principios de Privacidad desde el Diseño (Privacy-by-Design) y aplicar técnicas rigurosas de anonimización y minimización de datos a lo largo de todo el ciclo de vida de la IA para garantizar el cumplimiento normativo y la estricta conservación de la confidencialidad de la información personal sensible. 2. Fortalecer la solidez algorítmica y la resistencia del modelo mediante la implementación de pruebas sólidas y periódicas frente a ataques adversarios (e.g., envenenamiento de datos, ataques de evasión), complementado con la técnica de entrenamiento adversario para aumentar la robustez del sistema ante manipulaciones intencionales. 3. Establecer mecanismos de seguridad técnica robustos, como el cifrado de extremo a extremo de los datos y modelos, junto con la implementación de controles de acceso estrictos, para limitar la exposición y el riesgo de exfiltración de datos o alteración no autorizada de los sistemas.
EVIDENCIA ADICIONAL
Garantizar la adhesión a las normativas de privacidad y salvaguardar la confidencialidad de los datos del usuario constituye un pilar fundamental en la gestión integral de la seguridad de la Inteligencia Artificial. Desde una perspectiva técnica, la integración sistemática de los principios de 'privacidad desde el diseño' (privacy-by-design) y la aplicación rigurosa de técnicas de anonimización se revelan como estrategias esenciales para la protección efectiva de la información personal sensible que alimenta los sistemas de IA.