Riesgos de Primer Orden
Los riesgos de primer orden, aquellos que se manifiestan de forma más inmediata, suelen articularse en tres categorías fundamentales: los que emanan del uso (tanto el previsto o intencionado como el inesperado o no intencionado), los que se derivan de las decisiones de diseño e implementación del propio sistema, y los que están intrínsecamente ligados a las propiedades del conjunto de datos elegido y de los componentes clave para el proceso de aprendizaje.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
3 - Otro
ID del riesgo
mit187
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.0 > Seguridad, fallos y limitaciones del sistema de IA
Estrategia de mitigacion
1. Prioridad Alta: Establecer un Marco Riguroso de Gobernanza de Datos y Componentes de Aprendizaje. Esta estrategia debe enfocarse en la validación exhaustiva de los conjuntos de datos para asegurar su calidad, representatividad y mitigación de sesgos sistémicos. Es fundamental garantizar la trazabilidad completa y la interpretabilidad (XAI) de los modelos generados para comprender el origen de los riesgos y facilitar auditorías. 2. Prioridad Media: Integrar Prácticas de Ingeniería de Seguridad y Robustez en el Diseño. Se requiere la implementación de metodologías de "Security by Design" y "Robustness by Design" desde las primeras fases de desarrollo. Esto incluye la realización sistemática de pruebas de adversarios (adversarial testing), la definición de límites operativos seguros y la incorporación de mecanismos de resiliencia para gestionar fallos y errores inherentes a las elecciones de diseño e implementación. 3. Prioridad Operacional: Implementar un Sistema de Monitoreo Continuo y Respuesta Proactiva. Desarrollar un plan que supervise el comportamiento del sistema una vez desplegado para detectar desviaciones en el rendimiento, usos inapropiados o no intencionados, y manifestaciones tempranas de riesgo. Se deben establecer Indicadores Clave de Riesgo (KRI) y protocolos de escalamiento para permitir la intervención rápida, la contención de daños y la aplicación de medidas correctivas.