Contenido factualmente incorrecto (inexactitudes, fuentes fabricadas)
Uno de los desafíos más complejos y preocupantes de los modelos de inteligencia artificial es su tendencia ocasional a generar información errónea presentándola con la apariencia de hechos irrefutables. Este fenómeno se manifiesta a menudo a través de textos con un tono de autoridad, acompañados de citas o fuentes completamente inventadas. Los investigadores en el campo de la IA conocen bien esta producción impredecible de falsedades, y han acuñado el término "alucinación" como un eufemismo para describir este output erróneo.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit679
Linea de dominio
3. Desinformación
3.1 > Información falsa o engañosa
Estrategia de mitigacion
1. Implementación de la Generación Aumentada por Recuperación (RAG) para anclar la respuesta del modelo en bases de conocimiento externas, verificadas y actualizadas, asegurando la fundamentación fáctica y reduciendo la dependencia del conocimiento probabilístico interno. 2. Establecimiento de Mecanismos de Validación de Salida y Refusal-Awareness. Esto incluye la aplicación de umbrales de confianza, procesos de verificación de hechos (fact-checking) y la instrucción explícita al modelo para que decline o manifieste incertidumbre ('no sé') ante la insuficiencia de contexto o certeza. 3. Optimización de la Calidad e Integridad de los Datos de Entrenamiento y el Diseño del Modelo. Esto implica utilizar conjuntos de datos diversos y representativos para mitigar sesgos y evitar el sobreajuste (overfitting), abordando las causas fundamentales de la generación de contenido erróneo desde la capa de desarrollo.