Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA3 - Otro

Fallos de capacidad

Una razón fundamental por la que los sistemas de inteligencia artificial pueden fallar es su incapacidad o la insuficiencia de la competencia técnica necesaria para llevar a cabo la función para la cual fueron diseñados

Fuente: MIT AI Risk Repositorymit335

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

3 - Otro

ID del riesgo

mit335

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

1. Implementación de Marcos de Pruebas y Validación Continua Establecer protocolos de pruebas rigurosas, incluyendo simulaciones de escenarios reales y pruebas de adversario (adversarial testing), para evaluar la robustez y el rendimiento del sistema de IA bajo diversas condiciones de operación y ante entradas inesperadas, junto con el monitoreo continuo en tiempo real de su desempeño. 2. Diseño de Estrategias de Intervención Humana y Respaldo Desarrollar un mecanismo de "humano en el circuito" (human-in-the-loop) que permita al sistema pausar, señalar errores o situaciones de baja confianza y solicitar la revisión o guía de un experto, y crear opciones de reserva (fallback) seguras que se activen cuando el sistema exceda un umbral de error predefinido. 3. Garantía de la Calidad y Diversidad de los Datos de Entrenamiento Aplicar una gobernanza de datos exhaustiva para asegurar que los conjuntos de datos de entrenamiento sean precisos, pertinentes, libres de sesgos y suficientemente diversos para que el modelo pueda generalizar y mantener la precisión en una amplia gama de contextos, previniendo la insuficiencia de competencia técnica.