Volver al repositorio MIT
4. Actores Maliciosos y Mal Uso2 - Post-despliegue

Uso Malicioso de IA

El uso malicioso de la inteligencia artificial representa una amenaza potencial para la seguridad en sus dimensiones digital, física y política. A nivel global, las agencias de aplicación de la ley se enfrentan a una compleja gama de riesgos derivados de la utilización perversa de la IA.

Fuente: MIT AI Risk Repositorymit441

ENTIDAD

1 - Humano

INTENCIÓN

1 - Intencional

TIEMPO

2 - Post-despliegue

ID del riesgo

mit441

Linea de dominio

4. Actores Maliciosos y Mal Uso

223 riesgos mapeados

4.3 > Fraude, estafas y manipulación dirigida

Estrategia de mitigacion

1. Gobernanza y Monitoreo Continuo del Ciclo de Vida de la IA Implementar un marco de gobernanza integral para la gestión de activos, modelos y datos de IA, asegurando la trazabilidad de las fuentes de datos. Se debe desplegar un monitoreo continuo para detectar anomalías en la calidad de los datos (p. ej., envenenamiento) y desviaciones en el comportamiento del modelo durante la fase de post-despliegue. 2. Robustez del Modelo y Defensas Adversariales Fortalecer los modelos de inteligencia artificial contra ataques de manipulación, como la inyección de instrucciones (*prompt injection*) y los ejemplos adversariales. Esto se logra mediante la aplicación de entrenamiento adversarial y la implementación de validación estricta de entradas y monitoreo de comportamiento en tiempo de ejecución. 3. Controles de Acceso y Concientización Estratégica Establecer políticas de seguridad de datos basadas en el principio de mínimo privilegio (*least privilege*) y asegurar el uso de cifrado robusto para la información sensible. Es esencial invertir en capacitación para el personal que aborde los riesgos emergentes derivados de la utilización maliciosa de la IA, como la suplantación de identidad automatizada (*phishing*) y el fraude con *deepfakes*.

EVIDENCIA ADICIONAL

La IA puede ser utilizada para la ejecución directa de un acto ilícito o para subvertir la operatividad de otro sistema de inteligencia artificial mediante la manipulación deliberada de sus datos