Mal consejo/fallo en generar contenido útil
El sistema conversacional proporciona recomendaciones cuyo espectro de riesgo varía desde la mera ineficacia hasta la potencial generación de consecuencias perjudiciales si el usuario decide implementarlas.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit1267
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Implementación de ejercicios rigurosos de *red teaming* e ingesta de *prompts* adversariales para someter el modelo a pruebas de estrés y revelar fallos en la generación de contenido en casos límite (*edge cases*) antes del despliegue masivo. 2. Establecimiento de un marco de validación continua de datos de entrenamiento para prevenir el sesgo (*bias*) y la corrupción. Se deben aplicar protocolos de restricción del modelo (*model constraints*) que exijan la referencia a fuentes autorizadas para elevar la seguridad y la calidad del contenido generado. 3. Fomento de la transparencia (*explainability*) y el uso de lenguaje mesurado (*hedging*) en la salida del sistema. Esto implica capacitar al modelo para evitar aseveraciones absolutas y proporcionar la base empírica de sus recomendaciones, minimizando la dependencia excesiva del usuario.