Vigilancia Autoritaria, Censura y Uso (General)
Si bien las nuevas tecnologías, como los asistentes de IA avanzada, pueden optimizar la producción y difusión de información crucial para la toma de decisiones, también representan una amenaza significativa. Sin las mitigaciones adecuadas, estas herramientas pueden exacerbar los riesgos para la fiabilidad de la información y convertirse en instrumentos para la opresión y el control. La creciente sofisticación de la IA de propósito general, sumada a nuestra ubicua dependencia digital, incrementa la vulnerabilidad ante la vigilancia y la censura autoritaria. Paralelamente, la vasta cantidad de datos recopilados por una multitud de sensores (Internet de las Cosas, dispositivos móviles, redes sociales) puede ser integrada por sistemas de IA avanzada, facilitando que actores maliciosos identifiquen, focalicen, manipulen o coaccionen a la ciudadanía.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit356
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.1 > Desinformación, vigilancia e influencia a escala
Estrategia de mitigacion
1. **Establecimiento de Marcos de Gobernanza y Normativas:** Implementar y hacer cumplir marcos regulatorios de IA (siguiendo modelos como el NIST AI RMF o el EU AI Act) que incluyan prohibiciones estrictas contra el uso de sistemas de IA para vigilancia, perfilamiento, censura o coerción masiva de ciudadanos. Se debe exigir la categorización, evaluación y mitigación de riesgos sistémicos desde la fase de diseño, garantizando que el uso de IA sea siempre legal, seguro y respetuoso con los derechos humanos y las libertades civiles. 2. **Refuerzo de la Privacidad y Seguridad de Datos en Origen:** Aplicar tecnologías de privacidad que garanticen la anonimización, el cifrado avanzado (tanto en reposo como en tránsito), y controles de acceso robustos (ej. control de acceso basado en roles) a los vastos conjuntos de datos recolectados por sensores (IoT, dispositivos móviles, redes sociales). Estas medidas son cruciales para limitar la capacidad de los asistentes de IA avanzados para integrar y explotar esta información para la identificación, focalización o manipulación de individuos. 3. **Evaluación Adversarial y Monitoreo Continuo (Red Teaming):** Exigir evaluaciones de modelos rigurosas y periódicas, que incluyan pruebas adversariales (red teaming) para identificar y remediar proactivamente vulnerabilidades en el sistema de IA y en la infraestructura física, minimizando la posibilidad de que actores maliciosos exploten debilidades para generar desinformación, manipulación o para comprometer la ciberseguridad a escala.