Protección
Son las 'brechas' que emergen a lo largo del proceso de desarrollo de un sistema de inteligencia artificial. Estas brechas representan el fracaso en establecer las condiciones normales requeridas para dos elementos cruciales en la seguridad de la IA: la especificación completa y rigurosa de la funcionalidad prevista del sistema, y la atribución inequívoca de la responsabilidad moral o ética
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit604
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Implementar un marco integral de gobernanza de la IA, que incluya políticas, procesos y estructuras de rendición de cuentas (accountability) claras, en línea con estándares internacionales (e.g., NIST AI RMF, ISO/IEC 42001) para asegurar la especificación ética y funcional completa desde la fase de diseño. 2. Adoptar una estrategia de "seguridad y diseño responsable" (secure-by-design and responsible-by-design) durante el ciclo de vida del desarrollo. Esto implica realizar pruebas rigurosas, incluyendo el "red teaming" y el testeo adversarial pre-despliegue, para validar la robustez y la funcionalidad prevista del sistema bajo diversas condiciones de entrada y operacionales. 3. Mantener registros de auditoría detallados y accesibles (audit trails and logs) que documenten sistemáticamente todas las decisiones humanas y del sistema a lo largo de las fases de diseño, desarrollo y prueba. Esta trazabilidad es indispensable para la revisión forense y la atribución inequívoca de responsabilidades éticas y operativas ante cualquier brecha o fallo funcional.