Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA1 - Pre-despliegue

Representación de datos insuficiente

Para garantizar la solidez y la fiabilidad de un sistema de Inteligencia Artificial, es imperativo que la distribución estadística de los datos empleados para su entrenamiento replique fielmente la distribución de los datos operativos reales. Esto exige no solo un volumen de muestras suficiente, sino también, y de forma crítica, la inclusión representativa de aquellos escenarios de baja frecuencia o casos excepcionales que el sistema podría encontrar rara vez en su entorno de uso. Ignorar estos casos límite introduce una vulnerabilidad fundamental en el modelo.

Fuente: MIT AI Risk Repositorymit885

ENTIDAD

3 - Otro

INTENCIÓN

3 - Otro

TIEMPO

1 - Pre-despliegue

ID del riesgo

mit885

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

1. Estrategia de Evaluación y Adquisición de Datos Rigurosa Implementar un proceso de análisis de la distribución de los datos operativos esperados para identificar y cuantificar la subrepresentación de escenarios de baja frecuencia o casos límite críticos. Este paso es fundamental para asegurar que la composición del conjunto de entrenamiento refleje de manera fiel el entorno de uso real del sistema de IA. 2. Generación de Datos Sintéticos y Aumento (Data Augmentation) Emplear técnicas avanzadas de generación de datos sintéticos, como la simulación basada en reglas o variaciones estocásticas, para crear ejemplares robustos de los escenarios subrepresentados. Adicionalmente, aplicar el aumento adversarial (*adversarial augmentation*) para exponer el modelo a variaciones de entrada diseñadas para probar sus límites, incrementando su resiliencia. 3. Entrenamiento de Robustez y Pruebas de Generalización Aplicar métodos de entrenamiento de modelos orientados a la robustez, como el entrenamiento adversarial (*adversarial training*), para mejorar la capacidad de generalización del sistema. Se deben realizar pruebas de robustez exhaustivas para validar la estabilidad y la precisión predictiva del modelo ante datos ruidosos, entradas adversarias y cambios en la distribución, verificando que los sesgos de datos iniciales han sido corregidos de manera efectiva antes del despliegue.