Problemas de fiabilidad
La confianza depositada en productos de Inteligencia Artificial (IA) de propósito general que no logran cumplir su función prevista puede acarrear consecuencias perjudiciales significativas. Por ejemplo, estos sistemas han demostrado ser capaces de inventar hechos (un fenómeno conocido como 'alucinación'), generar código informático erróneo o suministrar información médica imprecisa. La materialización de estos fallos puede desencadenar daños físicos y psicológicos directos en los consumidores, además de un espectro más amplio de perjuicios reputacionales, financieros y legales para los individuos y las organizaciones que los incorporen.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit903
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Priorizar la implementación de metodologías de prueba de robustez y validación sistemática, incluyendo técnicas de evaluación adversarial y de consistencia, para modelos de IA de propósito general previo a su puesta en producción, con el fin de identificar y mitigar fallos inherentes como la generación de información errónea o alucinaciones. 2. Diseñar e integrar protocolos de supervisión humana ("Human-in-the-Loop") para la revisión y aprobación de las salidas de la IA en contextos de alto riesgo, asegurando que el juicio profesional y la rendición de cuentas permanezcan como el control final. 3. Establecer un proceso de gobernanza de datos continuo que garantice la calidad, actualidad e integridad de los *datasets* de entrenamiento y las bases de conocimiento de referencia, junto con sistemas de monitoreo en tiempo real para detectar y corregir el deterioro del modelo ("model drift") y mantener la precisión operativa.