Preocupaciones de incertidumbre
El concepto central en la fiabilidad de la inteligencia artificial es la cuantificación de la incertidumbre. Es imperativo que un sistema de IA no se limite a ofrecer una salida o predicción, sino que también comunique, de forma asociada, su grado de confianza o convicción en esa respuesta. La omisión o el mal funcionamiento de este mecanismo de autoevaluación introduce una vulnerabilidad crítica, lo que repercute negativamente tanto en el rendimiento operativo como, fundamentalmente, en la seguridad del sistema en entornos reales.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit893
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.0 > Seguridad, fallos y limitaciones del sistema de IA
Estrategia de mitigacion
1. Implementar de forma sistemática y rigurosa metodologías de Cuantificación de la Incertidumbre (QI) en el *pipeline* del sistema de IA, priorizando técnicas con garantías teóricas de cobertura, como la Predicción Conforme (Conformal Prediction), para dotar a la salida de un intervalo de confianza estadísticamente validado 2. Establecer métricas de evaluación que incentiven la conciencia de la incertidumbre. Esto implica modificar los *benchmarks* para recompensar métricas de calibración y la capacidad del sistema para abstenerse o reportar baja confianza (*"I don't know"*) en lugar de generar una predicción de alta incertidumbre, alineando así los incentivos de desarrollo con la fiabilidad operativa 3. Diseñar un marco de manejo de excepciones y deferencia que active la supervisión humana o la consulta a bases de conocimiento externas para toda inferencia que exceda un umbral predefinido de incertidumbre, minimizando la exposición a riesgos de seguridad y rendimiento por salidas no confiables