Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Pérdida de productividad

Pérdida de Productividad del Usuario por Subrendimiento de la IA Generativa. Se refiere a la disminución en la eficiencia operativa del usuario final, resultante de que una aplicación de IA generativa (IAG) produzca resultados que no cumplen con los estándares de calidad o coherencia requeridos, lo cual degrada la utilidad práctica de la herramienta.

Fuente: MIT AI Risk Repositorymit1218

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit1218

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

1. Implementación de un riguroso proceso de curación de datos de entrenamiento que garantice la alta calidad, representatividad y procedencia no sintética del corpus (evitando la contaminación por datos generados por IA o de baja fidelidad) para prevenir la degradación del modelo y la producción de resultados incoherentes o inexactos. 2. Ejecución de pruebas de robustez exhaustivas y validación interna (incluyendo pruebas adversariales) para identificar y mitigar vulnerabilidades y la tendencia a generar 'alucinaciones' o sesgos, asegurando que el rendimiento del sistema cumple con los umbrales de coherencia y precisión definidos para el caso de uso específico antes del despliegue. 3. Establecimiento de métricas clave de rendimiento (KPI) y umbrales operativos para la calidad del output generado, con monitorización continua en tiempo real y configuración de alertas automáticas para detectar desviaciones o una disminución significativa de la precisión o relevancia, permitiendo una intervención correctiva inmediata.