Información falsa
La **alucinación** del *chatbot* o modelo de lenguaje se define como la emisión de información que presenta una **incongruencia objetiva** o una **desviación verificable** respecto a los hechos conocidos, fuentes autorizadas o los documentos de referencia que le fueron suministrados. Este fenómeno implica que el sistema genera afirmaciones que **contradicen** activamente la realidad o sus propios datos de origen.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
3 - Otro
ID del riesgo
mit1262
Linea de dominio
3. Desinformación
3.1 > Información falsa o engañosa
Estrategia de mitigacion
1. Implementación de la Generación Aumentada por Recuperación (RAG) Integrar un mecanismo de recuperación de conocimiento externo en tiempo real (RAG) para anclar la generación de respuestas del modelo a fuentes de datos fidedignas y verificadas (bases de conocimiento o documentos de referencia), mitigando la dependencia del conocimiento implícito durante el preentrenamiento y reduciendo la probabilidad de confabulación. 2. Garantía de Calidad e Integridad del Conjunto de Datos Establecer un proceso riguroso de curación y limpieza de los datos de entrenamiento para asegurar la veracidad, actualidad y coherencia de la información. Esto es fundamental para minimizar las inconsistencias que el modelo podría reproducir y para realizar un ajuste fino (fine-tuning) eficaz con información específica del dominio de aplicación. 3. Establecimiento de Mecanismos de Supervisión Humana y Validación de Salidas Incorporar un sistema de "humano-en-el-bucle" (Human-in-the-Loop) y puntos de control algorítmicos para la validación de las respuestas generadas, especialmente en contextos de alta sensibilidad o riesgo. Se deben implementar umbrales de confianza y herramientas de detección de alucinaciones para asegurar que las salidas críticas sean revisadas y corregidas por expertos antes de su entrega al usuario final.