Usos Maliciosos
A medida que los asistentes de inteligencia artificial se vuelven más versátiles, sofisticados y capaces, generan nuevas oportunidades en campos cruciales como la educación, la ciencia y la atención sanitaria. Sin embargo, la vertiginosa velocidad de este progreso ha dificultado la preparación adecuada, e incluso la comprensión profunda, de cómo esta tecnología podría ser potencialmente mal utilizada. De hecho, los asistentes de IA avanzados tienen el potencial de transformar amenazas ya existentes o, en el peor de los casos, generar categorías de riesgos completamente nuevas.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit344
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.0 > Uso malicioso
Estrategia de mitigacion
1. Prioridad Alta: Fortificación de la Interfaz y el Modelo Implementar una validación de entrada estricta y barreras de seguridad (guardrails) robustas, incluyendo defensas contra la inyección de instrucciones (prompt injection), para prevenir que el modelo ejecute comandos maliciosos, eluda políticas internas o revele información sensible. 2. Prioridad Media: Detección y Adaptación Dinámica Establecer un sistema de monitoreo continuo del comportamiento del modelo y los patrones de uso, desplegando analíticas en tiempo real para identificar anomalías, picos de consultas inusuales o secuencias de acciones que puedan indicar un uso malicioso o una amenaza adaptativa. 3. Prioridad Mínima: Evaluación Proactiva del Riesgo Integrar el *AI Red Teaming* y las evaluaciones adversarias como una práctica sistemática en el ciclo de vida de desarrollo (MLOps), con el objetivo de simular vectores de ataque y descubrir casos de uso malicioso antes del despliegue en producción.