Robustez
Se refiere a la vulnerabilidad de un sistema a colapsar o a no poder operar de forma fiable (incapacidad de recuperación) al recibir entradas que son inválidas, ruidosas, o que pertenecen a un dominio de datos para el cual el modelo no fue específicamente entrenado (entradas fuera de distribución u OOD).
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit192
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Implementar rigurosas técnicas de entrenamiento adversario (*adversarial training*) y pruebas de estrés (stress testing), incluyendo ejercicios de *red teaming* de IA, para aumentar la resiliencia del sistema ante ataques maliciosos (ataques de evasión) y entradas fuera de distribución (OOD) que buscan comprometer su funcionalidad. 2. Establecer un proceso continuo de monitoreo de modelos (*Model Monitoring* y Observabilidad) para detectar anomalías en los datos de entrada, desviaciones en la distribución de datos (*data drift*) y degradación del rendimiento en tiempo real, garantizando la robustez operativa a lo largo del ciclo de vida del sistema. 3. Aplicar mecanismos de validación y filtrado de datos en las etapas de preprocesamiento y postprocesamiento (como *Input Validation* y *Output Filtering*) para sanear las entradas ruidosas o inválidas y mitigar los resultados erróneos o perjudiciales generados por el modelo, fortaleciendo así la robustez del sistema en su interfaz.
EVIDENCIA ADICIONAL
El riesgo de *falta de robustez* se refiere a la probabilidad de que un sistema de aprendizaje automático (ML) colapse o sea incapaz de recuperarse al procesar información inválida, ruidosa o que se encuentre *fuera de su distribución* de entrenamiento (OOD, por sus siglas en inglés). Esta vulnerabilidad surge de la brecha entre los entornos controlados de investigación y las variaciones significativas del mundo real. Por ejemplo, las condiciones de iluminación o el desgaste físico pueden alterar la apariencia de los objetos, o el texto humano puede presentar una amplia variación sociolingüística. A esto se suma el riesgo de ataques adversariales, donde actores maliciosos explotan defectos de diseño para manipular el sistema. La incapacidad de manejar estas situaciones conlleva serias implicaciones, afectando tanto a la seguridad (p. ej., accidentes en vehículos autónomos) como a la equidad (p. ej., sesgo o discriminación lingüística). Dado que la Ingeniería de Software y la Estadística convergen en los sistemas ML, el concepto de robustez se articula en dos dimensiones fundamentales: - **Robustez Distribucional:** La resistencia del método a las desviaciones o cambios en la distribución de los datos con los que fue originalmente entrenado. - **Robustez del Sistema:** La capacidad operativa para "funcionar correctamente en presencia de entradas inválidas o bajo condiciones ambientales estresantes".