Errores de Fidelidad
Este riesgo se conoce técnicamente como *Alucinación* (Hallucination). Se produce cuando un Modelo de Lenguaje Grande (LLM) genera un contenido que, aunque es superficialmente coherente y gramaticalmente correcto, resulta ser objetivamente incorrecto, carente de sustento en el material fuente o una fabricación completa. Es crucial comprender que el LLM funciona como un sistema de predicción probabilística de la siguiente palabra, no como un motor de recuperación de hechos. En consecuencia, el modelo prioriza la fluidez textual, lo que ocasionalmente lo lleva a producir información convincente pero factualmente falsa.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit13
Linea de dominio
3. Desinformación
3.1 > Información falsa o engañosa
Estrategia de mitigacion
1. Implementación de Generación Aumentada por Recuperación (RAG) Incorporar un sistema RAG para anclar la respuesta del Modelo de Lenguaje Grande (LLM) a bases de conocimiento externas, autorizadas y actualizadas. Este enfoque mitiga significativamente la *alucinación* al proporcionar contexto fáctico dinámico, asegurando la fidelidad del contenido generado a fuentes verificables. 2. Curación Rigurosa y Gobierno de Datos de Entrenamiento Establecer un proceso exhaustivo de curación y filtrado de los datos utilizados para el entrenamiento y ajuste del modelo. Esto incluye seleccionar únicamente fuentes de alta calidad, eliminar activamente la desinformación, y aplicar políticas de gobernanza para garantizar la consistencia, integridad y representatividad de los datos, abordando la causa raíz de la falta de conocimiento. 3. Mecanismos de Verificación y Validación Continua Post-Generación Desarrollar e implementar estrategias de verificación *post-hoc*, como mecanismos de autoconsistencia, validación humana-en-el-bucle, o técnicas automatizadas basadas en *embeddings* (ej. CheckEmbed). Estos procesos deben evaluar la precisión semántica y la coherencia de las respuestas generadas, estableciendo un bucle de retroalimentación para la mejora continua del modelo.