Conflictos de conocimiento en RAG LLMs
Los modelos de Inteligencia Artificial (IA) manifiestan una particular sensibilidad a la evidencia externa coherente que se les presenta durante procesos como la Aumentación por Recuperación (RAG), incluso si esta información contradice su extenso conocimiento previo de entrenamiento. Esto significa que la introducción de una cantidad relativamente pequeña de datos falsos, si son presentados de forma persuasiva, puede anular la base de conocimiento del modelo y provocar que genere salidas o respuestas incorrectas.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1021
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Implementar mecanismos de refinamiento de la atención e intervención neuronal para la alineación contextual. Consiste en aplicar marcos como IRCAN o DSSP-RAG para identificar y reponderar (o refinar los) canales neuronales que procesan la evidencia contextual, priorizando la información externa coherente sobre el conocimiento paramétrico preexistente del modelo ante escenarios de conflicto, sin requerir reentrenamiento del modelo. 2. Desarrollar un sistema de detección y resolución de conflictos basado en taxonomía y grafos de conocimiento. Establecer un proceso que clasifique el tipo de conflicto de conocimiento (p. ej., desinformación, información desactualizada o opiniones contradictorias) y aplique un comportamiento esperado específico (como priorizar fuentes recientes o descartar desinformación) o utilice Grafos de Conocimiento (KGs) para realizar una verificación factual de alto nivel de las fuentes recuperadas. 3. Fortalecer el proceso de ingestión y post-recuperación del sistema RAG. Optimizar la tubería de Generación Aumentada por Recuperación (RAG) mediante técnicas rigurosas de preprocesamiento (p. ej., filtrado de contenido antiguo o irrelevante y control de versiones) y post-recuperación (p. ej., re-ranking y búsqueda híbrida), asegurando que solo el conjunto de documentos más relevante, coherente y actualizado sea presentado al modelo para la generación de la respuesta.