Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Verificabilidad

En entornos de criticidad extrema, como la atención médica y las operaciones militares, la tolerabilidad ante fallos es ínfima, haciendo inaceptable la falta de verificabilidad del código en los sistemas de Inteligencia Artificial. La raíz de este problema radica en la naturaleza de estas soluciones: su estructura compleja y no lineal hace que operen, fundamentalmente, como "cajas negras". Esto implica que los sistemas de IA pueden llegar a predicciones y decisiones de alto impacto sin ser capaces de articular con claridad el razonamiento subyacente que las produce. Esta opacidad algorítmica representa un obstáculo ético y operativo mayor cuando la trazabilidad y la explicabilidad del proceso decisorio son imperativos.

Fuente: MIT AI Risk Repositorymit572

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit572

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.4 > Falta de transparencia o interpretabilidad

Estrategia de mitigacion

1. Implementar un Marco de Verificabilidad y Trazabilidad Criptográfica (AIBOM) Establecer un sistema que registre y certifique criptográficamente cada etapa del proceso de desarrollo y entrenamiento del modelo de IA, asegurando la integridad, el origen y la autenticidad del código y los pesos del modelo. Esto permite que terceros y usuarios verifiquen las propiedades y la no manipulación del sistema, un imperativo en entornos de criticidad extrema. 2. Adoptar Métodos de Inteligencia Artificial Explicable (XAI) Intrínsecos y Post-hoc Integrar técnicas de XAI para generar explicaciones claras y comprensibles sobre la lógica que subyace a las predicciones y decisiones de los modelos de "caja negra". En sistemas de alto riesgo, se debe priorizar el uso de modelos intrínsecamente interpretables o aplicar métodos post-hoc (como LIME o SHAP) para demistificar la opacidad algorítmica y permitir la validación humana. 3. Exigir la Publicación de Fichas de Transparencia Algorítmica (Model Cards) Formalizar la divulgación proactiva y estandarizada de información relevante del sistema de IA a través de documentos como Fichas de Transparencia Algorítmica. Esta documentación debe detallar el diseño del modelo, los datos de entrenamiento utilizados, el análisis de riesgos asociado, las limitaciones operacionales y los criterios de rendimiento, facilitando la auditoría y fomentando la confianza de los reguladores y el público.