Aplicación errónea
Este riesgo emerge cuando un sistema, incluso si es técnicamente impecable, se despliega o utiliza con un propósito o de una manera que contraviene la intención original de sus diseñadores. Las consecuencias negativas no son un fallo del sistema en sí, sino el resultado directo de esta desviación en su uso, lo que subraya la vulnerabilidad inherente a la interacción entre tecnología y propósito.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit189
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
- Establecer un **Marco de Gobernanza de IA** (AIMS) que determine y formalice de manera inequívoca el **Propósito Previsto de Uso** y el dominio de aplicación del sistema. Esto implica redactar políticas de uso responsable que obliguen a los usuarios a ejercer la debida diligencia y el pensamiento crítico para prevenir la desviación, intencionada o no, del sistema respecto a su finalidad de diseño. - Implementar **mecanismos de monitoreo continuo** post-despliegue y **controles de affordance** que permitan la detección proactiva de patrones de uso anómalos o de intentos de aplicar el sistema en casos de uso no validados (*out-of-scope*). El sistema debe estar diseñado con *guardrails* técnicos que limiten las capacidades funcionales a las tareas para las que fue entrenado y auditarse regularmente para identificar vulnerabilidades de repurposing. - Desarrollar **programas de formación y alfabetización en IA** para todos los usuarios y partes interesadas. El contenido debe enfocarse en la comprensión detallada de las capacidades y, crucialmente, las limitaciones técnicas del sistema (mediante Explainable AI - XAI), con el fin de mitigar el riesgo de *misapplication* involuntaria derivada de una comprensión incompleta de la tecnología.