Volver al repositorio MIT
3. Desinformación2 - Post-despliegue

Desinformación

Los sistemas de IA no corpórea son conocidos por propagar información errónea. Diversos estudios han demostrado que los Grandes Modelos de Lenguaje (LLM) inventan o "alucinan" datos, incluyendo citas académicas, conocimiento clínico y referencias culturales. Los sistemas de IA Corpórea (EAI) heredan estas deficiencias, respondiendo a preguntas de los usuarios con información engañosa o incorrecta en el mundo físico. Dado que los Agentes de Visión-Lenguaje (VLA) fusionan lo visual y lo lingüístico, sus fallos alucinatorios pueden estar 'anclados espacialmente'. Esto significa que un error al identificar un objeto en su campo de visión puede llevar a la generación de un plan de acción plausible, pero intrínsecamente inseguro. Y aunque asistentes domésticos automatizados ya han mentido sobre temas triviales (como la existencia de Santa Claus), sistemas EAI más móviles, capaces y fiables, desplegados en posiciones sensibles (como asistentes del hogar o servicios comunitarios), podrían fácilmente difundir la propaganda y los mensajes clave de sus desarrolladores a los usuarios.

Fuente: MIT AI Risk Repositorymit1280

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit1280

Linea de dominio

3. Desinformación

74 riesgos mapeados

3.1 > Información falsa o engañosa

Estrategia de mitigacion

1. Implementar medidas estrictas de gobernanza y seguridad del modelo, priorizando la validación y el filtrado de los datos de entrenamiento para asegurar su integridad y mitigar el sesgo, e incorporar arquitecturas como la Generación Aumentada por Recuperación (RAG) para cimentar la veracidad de las respuestas generadas en el conocimiento verificable. 2. Establecer un sistema de detección de alucinaciones y validación de resultados en tiempo real, complementado con la supervisión humana obligatoria (*human-in-the-loop*) en la toma de decisiones críticas, para contener y mitigar la difusión de información inexacta o potencialmente dañina antes de su escalada. 3. Promover la alfabetización mediática y la capacitación digital de los usuarios para fomentar el pensamiento crítico, permitiéndoles identificar y cuestionar activamente los contenidos generados por IA (incluyendo *deepfakes*) y los patrones de manipulación, reduciendo así la vulnerabilidad organizacional y social ante las campañas de desinformación.