Datos fuera de dominio
El riesgo de error con *alta confianza* en modelos de IA/AA surge cuando la entrada de datos no se valida ni se restringe adecuadamente, es decir, cuando se le presentan datos *fuera de su dominio de entrenamiento*. Si un modelo solo está entrenado para clasificar dígitos (0-9), pero recibe una imagen de la letra 'A', fracasará inevitablemente. Este fenómeno se conoce como problema de *detección fuera de distribución* (OOD) y es crítico en contextos sensibles al riesgo, ya que el sistema puede tomar decisiones incorrectas con absoluta convicción.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit303
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Implementación de Detección OOD Rigurosa Implementar mecanismos robustos de Detección Fuera de Distribución (OOD) en tiempo real para identificar y señalizar entradas que se desvíen significativamente de la distribución de entrenamiento, utilizando metodologías de vanguardia como la estimación de densidad o la detección de anomalías. 2. Cuantificación de la Incertidumbre y Abstinencia Integrar la Cuantificación de la Incertidumbre (UQ) explícita o implícita, mediante el uso de modelos conscientes de la incertidumbre (p. ej., redes bayesianas o técnicas de ensemble) o umbrales de probabilidad de Softmax calibrados, que permitan al sistema abstenerse de emitir una predicción ante entradas OOD o de baja confianza. 3. Definición Formal del Dominio y Validación de Datos Establecer una definición precisa y formal del dominio operativo del sistema de IA/AA, junto con la implementación de validaciones de entrada rigurosas y restricciones de datos para asegurar que los *inputs* presentados al modelo durante la inferencia cumplan con los parámetros esperados.