Volver al repositorio MIT
3. Desinformación2 - Post-despliegue

Información Engañosa

Los modelos grandes son inherentemente susceptibles a la 'alucinación', un problema que se materializa en la producción de datos sin sentido o información que, a pesar de su coherencia aparente, es factualmente infiel, lo que conduce a resultados engañosos

Fuente: MIT AI Risk Repositorymit67

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit67

Linea de dominio

3. Desinformación

74 riesgos mapeados

3.1 > Información falsa o engañosa

Estrategia de mitigacion

1. Implementación de la Generación Aumentada por Recuperación (RAG) Integrar la arquitectura de Recuperación Aumentada por Generación (RAG) para cimentar las respuestas del modelo en fuentes de conocimiento externas y verificadas de la organización. Esto reduce significativamente la invención de hechos al fundamentar la generación en información fáctica y actualizada. 2. Aplicación de Técnicas Avanzadas de Ingeniería de *Prompts* Emplear estrategias de *prompting* de alta calidad que incluyen la especificación de instrucciones claras, el uso de limitaciones estrictas (*e.g.*, "Solo responder con la información recuperada"), y la implementación de la técnica de Cadena de Pensamiento (*Chain-of-Thought*) para fomentar el razonamiento lógico y escalonado, lo que disminuye la tendencia a la especulación. 3. Establecimiento de Mecanismos de Supervisión y Evaluación Rigurosa Instaurar *Guardrails* con comprobaciones de contextualización para la detección de alucinaciones post-generación. Complementar con ciclos de evaluación continuos que penalicen las respuestas con errores seguros y prioricen la verificación humana o la validación automatizada de los resultados críticos, asegurando que el modelo indique incertidumbre cuando corresponda.