Relacionado con entrenamiento (Mala calibración de confianza)
Los modelos de inteligencia artificial pueden verse afectados por una deficiente calibración de la confianza. Este fenómeno ocurre cuando las probabilidades que el modelo predice no reflejan con exactitud la verdadera probabilidad de que su respuesta sea correcta. Dicha descalibración dificulta la interpretación fiable de las predicciones, pues una alta precisión global del modelo no garantiza que los niveles de confianza que reporta sean significativos. En consecuencia, podemos encontrarnos con una sobreconfianza en predicciones que resultan ser incorrectas o, de forma inversa, con una subestimación de su certeza cuando la respuesta es acertada.
ENTIDAD
3 - Otro
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit980
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Aplicación de Técnicas de Calibración Post-Hoc Implementar métodos de calibración especializados, como la regresión isotónica o el ajuste sigmoide (Platt Scaling), en las probabilidades de salida del modelo, utilizando un conjunto de validación independiente. Esta estrategia *post-hoc* corrige la desalineación entre la confianza predicha y la exactitud empírica de manera eficiente sin requerir el reentrenamiento del modelo principal. 2. Mitigación del Sesgo de Calibración en Subgrupos Adoptar metodologías de entrenamiento avanzadas, como Cluster-Focal, que aborden el problema de la calibración deficiente en subpoblaciones específicas. Esto garantiza que la fiabilidad de la confianza del modelo se mantenga a través de diferentes atributos sensibles o características inherentes a los datos, minimizando el riesgo de decisiones sesgadas o incorrectas para grupos minoritarios. 3. Establecimiento de un Marco de Evaluación y Auditoría de Confianza Integrar la evaluación continua de la calidad de la calibración dentro del ciclo de vida del modelo mediante el uso de métricas rigurosas, como el Error de Calibración Esperado (ECE) o el Brier Score. Establecer procedimientos de auditoría para analizar las curvas de fiabilidad e identificar y corregir de forma proactiva las tendencias de sobre o subestimación de la confianza del modelo.