Homogeneidad y fallos correlacionados
Homogeneidad y Fallas Correlacionadas El actual panorama de la inteligencia artificial está regido por el paradigma del "modelo fundacional" (foundation model): sistemas de aprendizaje automático a gran escala que son preentrenados con vastos y amplios conjuntos de datos, lo que les permite ser reutilizados y adaptados para una amplia gama de aplicaciones posteriores. Sin embargo, los enormes costos de desarrollo y la necesidad de recursos computacionales masivos han concentrado la capacidad de crear estos modelos de vanguardia en un número muy reducido de actores bien capitalizados. Esta concentración genera una *homogeneidad* tecnológica: si la tendencia persiste, una gran parte de los futuros agentes de IA estará impulsada por una base de modelos subyacentes que son pocos y altamente similares entre sí. El riesgo inherente, conocido como "fallas correlacionadas", surge cuando un fallo, un sesgo o una vulnerabilidad crítica se aloja en el modelo fundacional. Este error se propagará de manera simultánea y uniforme a través de todos los sistemas dependientes, creando un punto único de falla que podría desencadenar colapsos a escala sistémica en múltiples sectores.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
3 - Otro
ID del riesgo
mit1098
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.6 > Riesgos multi-agente
Estrategia de mitigacion
1. Fomentar la Heterogeneidad Arquitectónica y de Datos: Impulsar políticas y subsidios para la creación de un ecosistema diverso de modelos fundacionales, entrenados con conjuntos de datos distintos y curados, con el fin de evitar la dependencia crítica y la monocultura tecnológica que conduce a la propagación uniforme de sesgos y vulnerabilidades. 2. Implementar Evaluaciones de Riesgo Adversario y Gobernanza Sistémica: Exigir a los desarrolladores de modelos fundacionales la realización de auditorías continuas y evaluaciones de riesgo sistémico (como las propuestas por el Reglamento de IA de la UE), enfocadas en detectar fallos críticos ex ante antes de su adaptación descendente, mitigando así el riesgo de fallas correlacionadas a escala. 3. Diseñar para la Resiliencia Operacional y la Degración Controlada: Integrar en los agentes de IA dependientes mecanismos de validación de salida en tiempo real, aprendizaje distribuido (e.g., Aprendizaje Federado) y protocolos de circuit breaker que garanticen una degradación controlada y preserven la seguridad y utilidad del sistema, incluso si el modelo fundacional subyacente experimenta un fallo.