Planificación inadecuada de requisitos de rendimiento
La definición del rendimiento esperado para un sistema de Inteligencia Artificial exige una planificación rigurosa. Un punto crítico es la elección de métricas de desempeño: estas deben ser significativas y reflejar con precisión la funcionalidad que se pretende lograr. De no ser así, la desconexión entre la métrica y la realidad del sistema resultará en que ni las expectativas de utilidad ni los requisitos de seguridad puedan ser satisfechos en las fases avanzadas de su ciclo de vida.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit876
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Prioridad Alta: Formalizar un procedimiento riguroso e iterativo para la especificación de requisitos de rendimiento, integrando activamente a expertos del dominio, ingenieros de *machine learning* y *stakeholders*. Este proceso debe asegurar la correcta traducción de los objetivos de utilidad y los requisitos de seguridad en métricas de desempeño que sean cuantificables, contextualmente relevantes y *significativas*, considerando, por ejemplo, la sensibilidad a diferentes subpoblaciones o escenarios de operación críticos. 2. Prioridad Media: Implementar una fase de validación temprana para las métricas de desempeño seleccionadas mediante técnicas de análisis de sensibilidad y simulación. Esto implica evaluar la robustez y la capacidad predictiva de las métricas frente a variaciones en la distribución de datos (*data drift*) y condiciones operacionales adversas, garantizando que el rendimiento medido refleje con fidelidad el comportamiento deseado del sistema en el entorno real. 3. Prioridad Baja: Establecer un sistema de trazabilidad documental exhaustivo que vincule cada métrica de rendimiento definida con los requisitos funcionales y no funcionales (especialmente los de seguridad) de origen. Esta documentación debe justificar la elección de las métricas sobre alternativas y facilitar la auditoría continua a lo largo del ciclo de vida del sistema de IA para identificar y corregir desalineaciones entre la medición y los objetivos.