Pruebas de riesgo no representativas
Nos encontramos ante una prueba no representativa cuando existe un desfase fundamental entre los datos utilizados para evaluar un modelo de inteligencia artificial y los datos reales que el sistema procesará una vez que se encuentre en funcionamiento. En esencia, si los insumos de prueba no reflejan fielmente las condiciones operacionales, la evaluación de seguridad y fiabilidad del modelo será inherentemente defectuosa.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit1191
Linea de dominio
6. Socioeconómico y Ambiental
6.5 > Fallo de gobernanza
Estrategia de mitigacion
1. Máxima Prioridad: Protocolo de Alineación y Validación de DatosImplementar un protocolo estricto de análisis de la distribución de datos (data profiling) para garantizar que los insumos de prueba (inputs) repliquen con fidelidad estadística y cualitativa el entorno operacional real. Esto debe incluir la identificación proactiva y la inclusión de casos extremos, escenarios marginales (edge cases) y la diversidad de subgrupos poblacionales relevantes para el contexto de despliegue, previniendo la evaluación de seguridad con base en una muestra incompleta o sesgada.2. Prioridad Media: Estrategia Integral de Cobertura de PruebasDesarrollar una estrategia de prueba y validación formal que mapee sistemáticamente los riesgos identificados del sistema de IA con conjuntos de pruebas específicos, asegurando una cobertura exhaustiva de los requisitos funcionales, no funcionales (como el rendimiento y la robustez), y los criterios éticos. La metodología debe verificar que la amplitud de las pruebas sea directamente proporcional a la criticidad y al nivel de riesgo inherente del sistema.3. Prioridad Continua: Mecanismo de Monitoreo de Desviación (Drift)Establecer un sistema de monitoreo continuo posdespliegue para detectar de forma proactiva la desviación de datos (data drift) o la deriva del modelo (model drift), donde las condiciones operacionales o los patrones de entrada se separen significativamente de los datos utilizados en la fase de prueba. Este mecanismo es crucial para asegurar que la representatividad se mantenga a lo largo del ciclo de vida y debe activar alertas y protocolos de reevaluación o reentrenamiento para mitigar la obsolescencia de las pruebas.