Información Engañosa
Los modelos grandes son inherentemente susceptibles a la 'alucinación', un problema que se materializa en la producción de datos sin sentido o información que, a pesar de su coherencia aparente, es factualmente infiel, lo que conduce a resultados engañosos
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit67
Linea de dominio
3. Desinformación
3.1 > Información falsa o engañosa
Estrategia de mitigacion
1. Implementación de la Generación Aumentada por Recuperación (RAG) Integrar la arquitectura de Recuperación Aumentada por Generación (RAG) para cimentar las respuestas del modelo en fuentes de conocimiento externas y verificadas de la organización. Esto reduce significativamente la invención de hechos al fundamentar la generación en información fáctica y actualizada. 2. Aplicación de Técnicas Avanzadas de Ingeniería de *Prompts* Emplear estrategias de *prompting* de alta calidad que incluyen la especificación de instrucciones claras, el uso de limitaciones estrictas (*e.g.*, "Solo responder con la información recuperada"), y la implementación de la técnica de Cadena de Pensamiento (*Chain-of-Thought*) para fomentar el razonamiento lógico y escalonado, lo que disminuye la tendencia a la especulación. 3. Establecimiento de Mecanismos de Supervisión y Evaluación Rigurosa Instaurar *Guardrails* con comprobaciones de contextualización para la detección de alucinaciones post-generación. Complementar con ciclos de evaluación continuos que penalicen las respuestas con errores seguros y prioricen la verificación humana o la validación automatizada de los resultados críticos, asegurando que el modelo indique incertidumbre cuando corresponda.