Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Consejo incompleto

Asesoramiento sin Fundamento y Riesgo de Perjuicio. Se refiere a la emisión de recomendaciones o consejos por parte del modelo a pesar de una insuficiencia de datos, contexto o conocimiento epistémico, derivando en un riesgo potencial de daño tangible si dichas indicaciones son aplicadas o seguidas por el usuario.

Fuente: MIT AI Risk Repositorymit1173

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit1173

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

- Implementar un protocolo riguroso de "humano en el circuito" (human-in-the-loop) que establezca la validación experta obligatoria de todas las recomendaciones o consejos críticos generados por el modelo, particularmente en contextos de alto riesgo (ej. legal, financiero, médico), para asegurar la completitud y precisión antes de su aplicación. - Exigir la máxima transparencia de las fuentes y el contexto, y normar la verificación manual de las referencias proporcionadas por el sistema para contrastar su fiabilidad. En el ámbito regulatorio, se debe requerir la especificación explícita de la jurisdicción para prevenir la generalización indebida de estatutos. - Desarrollar e implementar programas de capacitación continua centrados en la gobernanza ética, que eduquen a los usuarios sobre las limitaciones epistémicas del sistema (incluyendo la tendencia al "asesoramiento incompleto") y la necesidad de evitar la delegación excesiva del criterio profesional.