Usos Inútiles
El empleo inadecuado o malintencionado de los Modelos de Lenguaje de Gran Escala (LLM) conlleva el riesgo de generar repercusiones sociales adversas de gran calado.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit14
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.3 > Fraude, estafas y manipulación dirigida
Estrategia de mitigacion
1. Implementación de Protocolos Rigurosos de Validación y Sanitización de Entradas y Salidas Tratar las entradas de usuario y las salidas generadas por el modelo como datos no confiables (enfoque de Confianza Cero), aplicando validación estricta y codificación de salida consciente del contexto para neutralizar la inyección de *prompts* y prevenir el manejo inadecuado de contenido malicioso o inseguro. 2. Ejecución Continua de Pruebas Adversariales (*Red Teaming*) y Evaluación de Modelos Someter el sistema LLM a simulaciones de ataque sistemáticas para identificar y subsanar vulnerabilidades de seguridad, *jailbreaking* y fallas en las funciones de moderación que podrían ser explotadas para fraude, estafas y manipulación dirigida. 3. Despliegue de Controles de Seguridad y Educación de Usuarios Reforzar los controles organizacionales, como la autenticación multifactor (MFA) para transacciones críticas y la verificación rigurosa de documentos (contra fuentes independientes), junto con la capacitación activa del personal y los usuarios finales sobre los nuevos riesgos de fraude habilitados por IA, como *deepfakes* y *phishing* sofisticado.