Alucinaciones
La irrupción de información errónea o sesgada en los resultados de los sistemas de Inteligencia Artificial no constituye una novedad. Históricamente, se han planteado preocupaciones sobre la posible inserción de estructuras falsas en imágenes médicas, como radiografías o resonancias magnéticas, así como la invención de referencias bibliográficas inexistentes en el ámbito académico. No obstante, la amplia accesibilidad de herramientas conversacionales como ChatGPT está proyectando un aumento dramático en la magnitud de este riesgo. Este fenómeno se ve agravado por un factor crucial: estas IA suelen presentar datos verídicos y datos falsos —fenómeno conocido como "alucinación"— con el mismo grado de aparente certeza, en lugar de reconocer su limitación o abstenerse de responder ante la incapacidad de asegurar la corrección. En manos de usuarios con un menor conocimiento crítico, esto contribuye a la amplificación de la desinformación, generando escenarios potencialmente peligrosos que, en algunos casos documentados, ya han desembocado en procedimientos legales.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit58
Linea de dominio
3. Desinformación
3.1 > Información falsa o engañosa
Estrategia de mitigacion
1. Implementación de la Generación Aumentada por Recuperación (RAG) y estrategias de *grounding* para anclar las respuestas del modelo a bases de conocimiento externas, autorizadas y verificables, minimizando así la generación de contenido desvinculado de la evidencia. 2. Integración de mecanismos intrínsecos de detección de incertidumbre, como la Predicción Conforme, que capaciten a la IA para abstenerse de emitir respuestas con alta confianza cuando la corrección no pueda ser asegurada, evitando la presentación de datos falsos con aparente certeza. 3. Establecimiento de protocolos obligatorios de verificación humana (*Human-in-the-Loop*) y diligencia debida, requiriendo que expertos en la materia corroboren sistemáticamente todas las afirmaciones, datos críticos y referencias académicas o médicas producidas por el sistema antes de su adopción o despliegue en escenarios de alto riesgo.