General Evaluations (Difficulty of identification and measurement of capabilities)
La dificultad para evaluar las capacidades y, consecuentemente, los riesgos de los sistemas de Inteligencia Artificial de propósito general, en contraste con la IA de función limitada, se debe a tres factores interrelacionados. Primero, existe una amplitud en la distribución de los riesgos potenciales, lo que complejiza su catalogación. Segundo, se evidencia una ausencia de métricas rigurosas y bien definidas para cuantificar estas amenazas. Finalmente, una fuente crítica de riesgo proviene de las propiedades impredecibles —o *emergentes*— de los modelos de IA, aquellas que surgen del sistema de manera inesperada durante su operación.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
3 - Otro
ID del riesgo
mit990
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. **Evaluación Rigurosa y Externa de Propiedades Emergentes** Implementar obligatoriamente **auditorías pre-despliegue realizadas por terceros independientes** y ejercicios sistemáticos de **red teaming** para la detección y caracterización de capacidades y riesgos impredecibles o emergentes en sistemas de Inteligencia Artificial de propósito general (GPAI), superando las pruebas de rendimiento estandarizadas. Esta medida se enfoca en explorar los límites del comportamiento del sistema para identificar fallos inesperados. 2. **Desarrollo y Aplicación de Métricas de Confiabilidad Multidimensionales** Establecer y aplicar un conjunto de métricas de **robustez** (incluida la resistencia a ataques adversarios), **interpretabilidad** (XAI) y **equidad/sesgo** que complementen la precisión tradicional. Es esencial documentar de manera exhaustiva el *intended purpose* (propósito previsto) y las limitaciones del modelo para cuantificar los riesgos en una distribución potencial amplia. 3. **Gobernanza del Ciclo de Vida y Transparencia Documental** Integrar un sistema de **gestión de riesgos** y **gobernanza** continuo a lo largo del ciclo de vida del modelo, asegurando la **transparencia** y **rendición de cuentas** mediante la **documentación técnica detallada** de los datos de entrenamiento, los procesos de toma de decisiones y el mantenimiento de registros (*record keeping*) para facilitar la trazabilidad y la corrección de fallos.