Manipulación
Cuando el protocolo de comportamiento de un sistema de inteligencia artificial es excesivamente predecible, particularmente en entornos de alto riesgo, esta característica intrínseca funciona como un aliciente para que agentes externos diseñen estrategias destinadas a la manipulación o el abuso del sistema
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit596
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.1 > Desinformación, vigilancia e influencia a escala
Estrategia de mitigacion
1. Prioridad 1: Implementación de Controles de Seguridad Adversarial y Endurecimiento del Modelo Reforzar la ciberseguridad mediante la aplicación de controles de acceso estrictos, cifrado de activos del modelo y técnicas de endurecimiento contra ataques adversarios, garantizando la integridad y no manipulación de los datos de entrenamiento y los canales de comunicación. 2. Prioridad 2: Establecimiento de un Sistema de Monitoreo Post-Despliegue Continuo Instaurar un sistema de seguimiento en tiempo real del desempeño y del comportamiento del sistema de IA para la detección proactiva de patrones de uso anómalos o desviaciones significativas que sugieran manipulación o abuso, activando alertas automáticas ante umbrales predefinidos de riesgo. 3. Prioridad 3: Integración de la Gestión de Riesgos y la Trazabilidad Integrar la gestión de riesgos de la IA como un proceso iterativo en todo el ciclo de vida, realizando evaluaciones de riesgo sistemáticas para reducir la previsibilidad inherente del protocolo conductual, y asegurando la trazabilidad y explicabilidad de las decisiones algorítmicas para facilitar la auditoría post-incidente.