Fuga de Privacidad
Este es un problema crítico de la seguridad en la IA, conocido técnicamente como *filtración de datos sensibles* o *leakage*. Surge cuando el modelo de lenguaje, al ser alimentado con un vasto *corpus de entrenamiento* que contiene información personal o confidencial, inadvertidamente *memoriza* ciertos datos sensibles. Si esta información —que nunca debería haber sido revelada— se memoriza, el modelo puede, bajo ciertas indicaciones o de forma impredecible, *regurgitarla* en una conversación posterior, exponiendo así datos privados a un tercero. Esta es una vulnerabilidad estructural que desafía los principios de privacidad y gestión de datos.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit31
Linea de dominio
2. Privacidad y Seguridad
2.1 > Compromiso de la privacidad por filtración o inferencia de información sensible
Estrategia de mitigacion
1. Implementación de la Minimización de Datos y Técnicas de Anonimización Limitar la recopilación de datos sensibles exclusivamente a lo esencial para el propósito operativo del modelo. Adicionalmente, aplicar técnicas de enmascaramiento estático en los conjuntos de entrenamiento y el saneamiento dinámico o enmascaramiento de la Información de Identificación Personal (PII) durante la inferencia para mitigar el riesgo de memorización y regurgitación involuntaria. 2. Establecimiento de Controles de Entrada/Salida y Prevención de Pérdida de Datos (DLP) Diseñar e integrar barreras de validación robustas que analicen y saniticen tanto los prompts de entrada como las respuestas de salida. Desplegar soluciones de Prevención de Pérdida de Datos (DLP) adaptadas a la IA para monitorear, detectar y bloquear activamente la exfiltración de información confidencial o de propiedad a través del canal de interacción con el modelo. 3. Adopción de un Marco de Gobernanza de Datos y Arquitectura de Confianza Cero Establecer una gobernanza de datos rigurosa que incluya el inventario, la clasificación y la trazabilidad de todos los conjuntos de datos empleados por los sistemas de IA. Aplicar los principios de Arquitectura de Confianza Cero (Zero Trust), garantizando un estricto control de acceso basado en el menor privilegio para cualquier interacción o flujo de datos con el Modelo de Lenguaje Grande (LLM). 4. Concienciación y Capacitación Continua del Personal Promover una cultura de seguridad y cumplimiento mediante la formación periódica de los empleados sobre los riesgos inherentes al uso de la IA (fugas de datos, ataques de inferencia) y la adopción de políticas internas claras para el uso seguro y responsable de las herramientas de IA corporativas y no autorizadas (IA en la sombra).