Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Razonamiento Lógico Limitado

Los Grandes Modelos de Lenguaje (GML) tienen la capacidad de construir respuestas que, a pesar de ser gramaticalmente impecables y exhibir una justificación aparentemente lógica, se fundamentan en información objetivamente incorrecta o inválida. Este riesgo, conocido en la investigación como "alucinación", es crucial en la seguridad de la IA, pues la plausibilidad del texto generado puede inducir a error al usuario, llevando a la aceptación de datos o argumentos falsos como hechos verídicos.

Fuente: MIT AI Risk Repositorymit467

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit467

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

1. Implementación de la Generación Aumentada por Recuperación (GAR/RAG) Anclar la generación de respuestas del Modelo de Lenguaje de Gran Escala (LLM) a bases de conocimiento externas, verificadas y en tiempo real. Esta estrategia garantiza que las salidas se fundamenten en evidencia fáctica y datos confiables, reduciendo la dependencia del conocimiento interno preentrenado y mitigando significativamente la generación de información objetivamente incorrecta o inválida. 2. Ajuste Fino (Fine-Tuning) y Rigor en la Calidad de los Datos de Entrenamiento Realizar el ajuste fino del LLM en conjuntos de datos rigurosamente depurados, específicos del dominio de aplicación y de alta calidad. Este proceso permite alinear el comportamiento del modelo con la jerga y los hechos especializados del sector, mejorando la precisión contextual y reduciendo la probabilidad de generalizaciones excesivas o la reproducción de información sesgada o inconsistente presente en los datos de preentrenamiento masivos. 3. Integración de Técnicas de Razonamiento Explícito y Calibración de Confianza Aplicar técnicas avanzadas de *prompting*, como el Razonamiento de Cadena de Pensamiento (*Chain-of-Thought*), para obligar al modelo a desglosar su proceso lógico y de inferencia paso a paso. Conjuntamente, implementar mecanismos de verificación de consistencia y de puntuación de confianza que permitan al LLM identificar y abstenerse de generar una respuesta cuando su certeza interna sea baja, previniendo la emisión de alucinaciones con aparente plausibilidad.

EVIDENCIA ADICIONAL

En las tareas de razonamiento lógico, se ha documentado que los Modelos de Lenguaje tienden a depender de la explotación de patrones estadísticos espurios y superficiales, lo que les permite inferir respuestas sin haber asimilado la lógica profunda y significativa del problema