Incapacidad de generar información precisa
El riesgo fundamental reside en que los modelos de Inteligencia Artificial, al carecer de una capacidad inherente para discernir la verdad, pueden incurrir en la generación de *alucinaciones* —información plausible pero inherentemente falsa o engañosa—, un desafío crítico para su aplicación responsable.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit953
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Implementación de arquitecturas de Generación Aumentada por Recuperación (RAG) para fundamentar las respuestas del modelo en fuentes de conocimiento externas, autorizadas y verificadas, estandarizando el contexto operacional para evitar la inferencia probabilística no controlada. 2. Optimización de los procedimientos de entrenamiento y evaluación del modelo (incluyendo el *fine-tuning*) para promover la calibración y la expresión de incertidumbre, desincentivando la generación de respuestas por sobreajuste (*overfitting*) o por adivinación sin fundamento fáctico. 3. Establecimiento de mecanismos rigurosos de verificación fáctica (*fact-checking*) e integración de procesos de supervisión humana (*human-in-the-loop*) para la validación de resultados críticos, asegurando que un experto valide la precisión de la información generada antes de su despliegue final.