Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Problemas de datos operativos

A pesar de que el sistema de IA ha sido rigurosamente probado en un entorno simulado, utilizando un conjunto de datos que busca replicar la distribución estadística del entorno operativo, existe un riesgo intrínseco. Una desviación inesperada entre los datos de prueba y los datos operacionales reales (un fenómeno conocido como "desplazamiento de la distribución") puede provocar que la aplicación se comporte de manera inestable e impredecible. Por lo tanto, la evaluación de su rendimiento con datos reales, una vez desplegada, es un paso ineludible.

Fuente: MIT AI Risk Repositorymit894

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit894

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

1. Establecer un sistema de monitoreo continuo y robusto del rendimiento y las propiedades estadísticas de los datos de entrada y las predicciones del modelo en el entorno operativo. Se priorizará la implementación de algoritmos de detección temprana de "desplazamiento de datos" (data drift) y "desplazamiento de concepto" (concept drift) para activar alertas y procedimientos de mitigación automáticos 2. Desarrollar e implementar un pipeline automatizado para el reentrenamiento y ajuste adaptativo del modelo de IA utilizando las muestras de datos operacionales que reflejen la nueva distribución. Este proceso debe ser periódico o activado por la detección de desplazamiento de distribución, asegurando una rápida adaptación a las condiciones de funcionamiento 3. Realizar una fase inicial de despliegue controlado (e.g., "despliegue en sombra" o canary release) donde el sistema de IA opere en paralelo con el sistema preexistente o solo maneje un subconjunto no crítico de las transacciones. Esto permite evaluar el comportamiento de la aplicación con datos operacionales reales bajo supervisión rigurosa antes de su plena integración 4. Documentar y validar rigurosamente la calidad, representatividad y cobertura de los conjuntos de datos de prueba previos al despliegue, buscando reducir la disparidad inicial entre la distribución de datos simulados y operacionales, e incluyendo escenarios de estrés que simulen variaciones conocidas en la distribución de entrada