Fallos de capacidad
Una razón fundamental por la que los sistemas de inteligencia artificial pueden fallar es su incapacidad o la insuficiencia de la competencia técnica necesaria para llevar a cabo la función para la cual fueron diseñados
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit335
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Implementación de Marcos de Pruebas y Validación Continua Establecer protocolos de pruebas rigurosas, incluyendo simulaciones de escenarios reales y pruebas de adversario (adversarial testing), para evaluar la robustez y el rendimiento del sistema de IA bajo diversas condiciones de operación y ante entradas inesperadas, junto con el monitoreo continuo en tiempo real de su desempeño. 2. Diseño de Estrategias de Intervención Humana y Respaldo Desarrollar un mecanismo de "humano en el circuito" (human-in-the-loop) que permita al sistema pausar, señalar errores o situaciones de baja confianza y solicitar la revisión o guía de un experto, y crear opciones de reserva (fallback) seguras que se activen cuando el sistema exceda un umbral de error predefinido. 3. Garantía de la Calidad y Diversidad de los Datos de Entrenamiento Aplicar una gobernanza de datos exhaustiva para asegurar que los conjuntos de datos de entrenamiento sean precisos, pertinentes, libres de sesgos y suficientemente diversos para que el modelo pueda generalizar y mantener la precisión en una amplia gama de contextos, previniendo la insuficiencia de competencia técnica.