Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Fiabilidad

La Fiabilidad (o Confiabilidad) en el contexto de un sistema se define como la métrica probabilística que establece la capacidad de ese sistema para ejecutar su función de manera consistente y satisfactoria. Esto se mide estrictamente a lo largo de un período de tiempo específico y bajo el conjunto de condiciones operativas que han sido previamente declaradas.

Fuente: MIT AI Risk Repositorymit607

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit607

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

1. Ejecutar un protocolo exhaustivo de pruebas adversariales (AI Red Teaming) y validación de la robustez del modelo *ex ante* al despliegue. Esta acción prioritaria busca identificar y mitigar proactivamente las vulnerabilidades inherentes a la arquitectura y los datos ante perturbaciones intencionales o variaciones inesperadas del entorno operativo. 2. Instaurar un sistema de monitoreo continuo en tiempo real para la detección de anomalías y la gestión del *Model Drift*. Dicho sistema debe supervisar de manera sistemática los *inputs*, los *outputs* y las métricas de rendimiento para asegurar la consistencia funcional y la estabilidad del sistema frente a cambios en la distribución de datos o *data quality* a lo largo del tiempo. 3. Integrar técnicas de *hardening* y optimización de la robustez directamente en el proceso de desarrollo y entrenamiento de la IA. Esto incluye la implementación de entrenamiento adversarial (Adversarial Training), el uso riguroso de la validación de la calidad de los datos (*Data Validation*), y la aplicación de métodos de regularización avanzados para garantizar la generalización y la fiabilidad bajo un espectro más amplio de condiciones operativas.