Especificación inadecuada del ODD
El Dominio de Diseño Operacional (DDO), o *Operational Design Domain* (ODD), es un concepto fundamental de la seguridad en sistemas autónomos, originalmente articulado para la conducción. El DDO constituye la especificación técnica precisa del entorno operativo de una aplicación; es decir, el conjunto de condiciones ambientales, geográficas y de tráfico bajo las cuales se garantiza que el sistema funcionará de forma segura. La criticidad de una delimitación precisa del DDO reside en su impacto directo sobre dos funciones esenciales. Primero, limita la posibilidad de realizar pruebas y validaciones funcionales exhaustivas del sistema. Segundo, y más crítico, compromete seriamente la **Detección Fuera de Distribución** (*Out-of-Distribution*, OOD), que es la capacidad del modelo para reconocer y señalar un *input* o escenario que difiere sustancialmente de los datos que utilizó en su entrenamiento. En esencia, una especificación deficiente del DDO es un riesgo de seguridad, pues reduce la capacidad del sistema para autorreconocer sus propias fronteras de competencia y responder apropiadamente ante lo inesperado.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit874
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
La siguiente lista presenta estrategias de mitigación para el riesgo de "Especificación inadecuada del ODD" ordenadas por prioridad:1. Formalización Exhaustiva del Dominio de Diseño Operacional (DDO) Establecer un marco conceptual y una taxonomía de variables estandarizada para formalizar y documentar el DDO de manera clara y precisa. Esta especificación debe ser lo suficientemente granular para permitir la trazabilidad a los requisitos de seguridad y a la generación de un conjunto de pruebas exhaustivas. Se debe priorizar el uso de lenguajes de especificación formales para reducir la ambigüedad inherente al lenguaje natural. 2. Implementación de Mecanismos de Detección Fuera de Distribución (OOD) Integrar y validar un sistema robusto de Detección Fuera de Distribución (OOD) en tiempo real. Este sistema debe ser capaz de cuantificar la incertidumbre del modelo y señalar de manera fiable cuándo el *input* o el escenario operativo se desvía de la distribución de datos de entrenamiento (es decir, excede el DDO). La activación de este mecanismo debe desencadenar automáticamente una política de acción segura, como la adopción de un Dominio de Diseño Operacional Adaptativo (DDOA) o la ejecución de una Maniobra de Riesgo Mínimo. 3. Validación Sistemática y Basada en el DDO Desarrollar una metodología de prueba y validación que vincule explícitamente la taxonomía del DDO a la generación de casos de prueba concretos. Esto implica la creación de escenarios que cubran el espectro completo de condiciones operacionales definidas, prestando especial atención a los límites y combinaciones de atributos complejos (por ejemplo, condiciones climáticas extremas o volúmenes de tráfico específicos) para asegurar la robustez del sistema y su capacidad de autorreconocer sus fronteras de competencia.