Grado inapropiado de automatización
El grado de automatización de una aplicación de Inteligencia Artificial es un espectro que abarca desde la asistencia mínima hasta la plena autonomía del sistema. Es crucial comprender que las aplicaciones con un alto nivel de control automatizado son intrínsecamente más propensas a manifestar lo que denominamos comportamiento inesperado o emergente. Esta imprevisibilidad se traduce directamente en riesgos significativos que comprometen tanto su fiabilidad, es decir, su capacidad para operar consistentemente según lo diseñado, como su seguridad operacional.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit875
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.2 > IA con capacidades peligrosas
Estrategia de mitigacion
1. Implementación de Supervisión Humana Obligatoria (Human-in-the-Loop) Establecer un protocolo estricto de 'humano en el circuito' (Human-in-the-Loop) que requiera la revisión, validación y aprobación final por parte de un experto para todas las decisiones o acciones críticas generadas por sistemas con alta autonomía. Esto asegura que la salida del sistema sea tratada como una recomendación, no como una solución definitiva, manteniendo la responsabilidad profesional y mitigando el riesgo de comportamiento inesperado o emergente. 2. Monitoreo Continuo de Rendimiento y Calidad de Datos Desplegar plataformas robustas para el monitoreo continuo en tiempo real del rendimiento del modelo (incluyendo la detección de model drift o decay) y la calidad de los datos. Esta vigilancia constante es crucial para identificar y remediar rápidamente cualquier anomalía o desviación en el comportamiento del sistema posterior al despliegue, garantizando la fiabilidad operativa y la seguridad del sistema de IA. 3. Evaluación Rigurosa de Idoneidad y Alcance de la Automatización Realizar una evaluación de riesgos y viabilidad exhaustiva antes de la implementación para determinar el grado óptimo y apropiado de automatización para una tarea específica. Esta evaluación debe documentar explícitamente las limitaciones del sistema y prohibir la dependencia exclusiva de la IA para funciones o decisiones que involucren cálculos críticos o la seguridad operacional, asegurando que el nivel de autonomía se alinee con el apetito de riesgo de la organización.