Cadena de Valor e Integración de Componentes
Este riesgo de seguridad se centra en la denominada "opacidad" o el carácter de "caja negra" que emerge en el desarrollo de la inteligencia artificial. Se refiere a la integración no transparente o imposible de rastrear de los componentes de terceros que alimentan el sistema (los 'materiales base'). Esto incluye el uso de *datos* que, debido a la creciente automatización impulsada por la IA Generativa (GAI), pueden haber sido obtenidos de forma indebida o no han pasado por los procesos necesarios de limpieza y depuración. Además, la problemática se extiende a una insuficiente o inadecuada verificación de los proveedores y colaboradores involucrados a lo largo del ciclo de vida de la IA. La suma de estos factores socava la transparencia y, de manera crítica, disminuye la capacidad de rendición de cuentas (accountability) para los usuarios finales que dependen del sistema.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit720
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.4 > Falta de transparencia o interpretabilidad
Estrategia de mitigacion
1. Implementación de un Marco de Gobernanza de Datos que exija la trazabilidad completa y la documentación detallada de la procedencia (provenance) de todos los componentes de terceros, incluyendo conjuntos de datos y modelos pre-entrenados, para posibilitar la auditoría transparente del sistema. 2. Establecimiento de un proceso riguroso de debida diligencia (due diligence) y verificación de proveedores (supplier vetting) en la fase de adquisición. Este proceso debe asegurar que todos los colaboradores externos cumplan con los estándares éticos, legales (particularmente en la obtención de datos) y de calidad/limpieza de datos de la organización. 3. Diseño e integración de controles de calidad de datos específicos para la automatización impulsada por la IA Generativa (GAI). Esto incluye la validación humana obligatoria de la integridad de las fuentes de datos y la aplicación estricta de protocolos de limpieza y depuración antes de la integración al sistema.