Accidentes
Los accidentes se definen como modos de fallo no intencionados o imprevistos que, en principio, pueden atribuirse a una deficiencia inherente al propio sistema de IA (un error de diseño) o a un fallo en las decisiones o la implementación por parte de sus desarrolladores.
ENTIDAD
3 - Otro
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit99
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Ejecutar sistemáticamente pruebas de robustez exhaustivas y *red teaming* de IA para simular condiciones adversas, casos límite (*edge cases*) y ataques, garantizando que el rendimiento del modelo se mantenga satisfactorio y resiliente ante perturbaciones inesperadas. 2. Establecer un proceso continuo de validación y auditoría de datos, utilizando *pipelines* automatizados para detectar sesgos, corrupción o fallos de etiquetado en los conjuntos de entrenamiento e *inputs*, mitigando así la introducción de deficiencias inherentes en el diseño del sistema. 3. Implementar mecanismos de IA Explicable (XAI) y directrices de transparencia claras para los desarrolladores, lo cual permite el análisis *post hoc* de las decisiones del sistema para identificar las causas fundamentales de los fallos no intencionados y facilita la rendición de cuentas.