Volver al repositorio MIT
2. Privacidad y Seguridad2 - Post-despliegue

Instrucción de Juego de Rol

El riesgo se materializa cuando un atacante induce al modelo a adoptar un *atributo de rol* específico dentro de su indicación, un fenómeno que podríamos denominar 'suplantación de identidad forzada'. Al obligar a la IA a asumir un personaje asociado a grupos de riesgo (como radicales, extremistas o discriminadores), el sistema prioriza la *fidelidad al estilo y las directrices del rol* sobre sus propios protocolos de seguridad. Esta obediencia excesiva a la identidad asignada es la vulnerabilidad clave, permitiendo que el modelo emita contenido potencialmente peligroso o no ético directamente vinculado a la personalidad que se le ha impuesto.

Fuente: MIT AI Risk Repositorymit425

ENTIDAD

1 - Humano

INTENCIÓN

1 - Intencional

TIEMPO

2 - Post-despliegue

ID del riesgo

mit425

Linea de dominio

2. Privacidad y Seguridad

186 riesgos mapeados

2.2 > Vulnerabilidades y ataques a la seguridad del sistema de IA

Estrategia de mitigacion

- Priorización Inequívoca de la Alineación de Seguridad: Se debe garantizar que las directrices de seguridad incrustadas en el modelo (alineación) posean una prioridad de ejecución superior e inmutable que cualquier instrucción de rol definida por el usuario. Esto asegura que los protocolos éticos y de seguridad anulen la fidelidad al personaje asignado - Detección y Neutralización de la Instrucción en la Entrada: Implementar un mecanismo de preprocesamiento robusto que analice los *prompts* de entrada para identificar patrones lingüísticos que induzcan la suplantación de identidad (ej., "Supón que eres un...") y filtre o neutralice estas directivas de rol antes de la ejecución del modelo - Evaluación Ofensiva Continua Mediante Fuzzing: Llevar a cabo simulaciones de ataque activas (*fuzzing* y *red-teaming*) que se centren específicamente en técnicas de "Instrucción de Juego de Rol" para descubrir y mitigar iterativamente las vulnerabilidades sistémicas que permitan el *jailbreak*

EVIDENCIA ADICIONAL

I do not have enough information to fulfill the request. Please provide a clear prompt or instruction for the content you would like me to generate.