Manipulación sistémica a gran escala
El riesgo reside en cómo los sistemas de Inteligencia Artificial, que a menudo portan sesgos sistémicos inherentes, tienen la capacidad de manipular a segmentos poblacionales amplios. Este mecanismo se vuelve especialmente potente cuando dichos sesgos resuenan y se alinean estratégicamente con las creencias o patrones de comportamiento ya existentes en el grupo objetivo. Al escalarse y emplearse de forma intencionada (o 'como arma'), esta manipulación tiene el potencial no solo de profundizar las divisiones sociales preexistentes, sino también de desencadenar perturbaciones a una escala crítica, como podría ser un apagón urbano generalizado. Esto podría lograrse, por ejemplo, mediante la manipulación estratégica de los patrones de consumo de energía para forzar una sobrecarga precisamente durante los períodos de máxima demanda. (Ref: [159])
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1060
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.2 > Ciberataques, desarrollo o uso de armas y daño masivo
Estrategia de mitigacion
1. Prioridad Alta: Evaluación Proactiva Rigurosa y Mitigación de Sesgos Sistémicos. Realizar evaluaciones de riesgo y auditorías de terceros obligatorias previas al despliegue, alineadas con marcos de gobernanza (e.g., NIST AI RMF), para identificar, cuantificar y mitigar activamente los sesgos sistémicos inherentes en los conjuntos de datos de entrenamiento y el modelo, previniendo así la base algorítmica para la manipulación poblacional. 2. Prioridad Media: Monitoreo Continuo en Tiempo Real y Fortificación Adversarial. Implementar un sistema de monitoreo continuo (24/7) para rastrear entradas, salidas y métricas de rendimiento en tiempo real, buscando patrones anómalos que sugieran manipulación a gran escala (como variaciones estratégicas en el consumo de energía). Complementar esto con pruebas adversariales (Red Teaming) y defensa robusta para asegurar la resiliencia del modelo contra ataques de evasión. 3. Prioridad Baja: Control de Acceso y Protocolos de Interrupción. Establecer controles de acceso rigurosos bajo el principio de mínimo privilegio (Least-Privilege) para limitar la exposición del sistema a actores maliciosos internos o externos. Adicionalmente, diseñar e integrar protocolos de interrupción que permitan la intervención humana inmediata para controlar el flujo de información o la autonomía del sistema ante la detección de un evento de manipulación masiva.