Riesgos de modelos (Salida no fiable)
La inteligencia artificial generativa puede incurrir en el fenómeno conocido como "alucinación". Este término describe el proceso por el cual el modelo produce contenido objetivamente inveraz o carente de coherencia lógica, pero lo presenta al usuario dotándolo de una aparente certeza fáctica. La consecuencia directa de este fallo es la propagación de información que resulta ser sesgada y altamente engañosa.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit646
Linea de dominio
3. Desinformación
3.1 > Información falsa o engañosa
Estrategia de mitigacion
1. **Prioridad Alta: Garantizar la Calidad y Gobernanza del Conjunto de Datos de Entrenamiento** Implementar procesos rigurosos de gobernanza de datos para curar conjuntos de entrenamiento que sean diversos, equilibrados, precisos y actualizados. Este enfoque es fundamental para mitigar el sesgo de entrada, el sobreajuste y la generación de información inveraz o inconsistente por parte del modelo. 2. **Prioridad Media: Implementar la Arquitectura de Generación Aumentada por Recuperación (RAG)** Integrar el Modelo de Lenguaje Grande (LLM) con una base de conocimiento externa, verificada y actualizada, utilizando sistemas RAG. Esta arquitectura ancla las respuestas del modelo en hechos documentados, reduciendo significativamente la probabilidad de que el sistema "confabule" o invente contenido más allá de su corte de conocimiento inicial. 3. **Prioridad Baja: Establecer Supervisión Humana Continua y Puntos de Verificación Críticos** Incorporar un flujo de trabajo de "human-in-the-loop" donde expertos en la materia validen y contrasten rigurosamente los resultados generados por la IA. Esta supervisión sirve como la defensa final, asegurando la precisión y relevancia del contenido, especialmente en aplicaciones de alto riesgo como contextos legales o médicos.