Seguridad (Safety)
La seguridad de la IA es un campo de estudio interdisciplinario crucial centrado en mitigar y prevenir activamente accidentes, mal uso y otras consecuencias perjudiciales derivadas de los sistemas de inteligencia artificial. Este ámbito se articula en torno a tres pilares técnicos fundamentales: la *alineación* (asegurar que la IA actúe conforme a la intención y valores humanos), la *monitorización* (vigilar continuamente los sistemas para la detección temprana de riesgos) y la *robustez* (incrementar su fiabilidad y resistencia frente a fallos o ejemplos adversarios). Una preocupación destacada es el riesgo existencial que podrían plantear los modelos de IA más avanzados. Por último, este campo va más allá de la mera técnica, incorporando el desarrollo de normas y políticas necesarias para fomentar un marco de uso globalmente seguro.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit112
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
Prioridad Alta: Aseguramiento de la Robustez y la Alineación del Modelo Implementar estrategias técnicas (ej. defensa adversarial, Ajuste Contrastivo) para garantizar la robustez del sistema ante entradas inesperadas o maliciosas y la alineación con los objetivos e intenciones humanas, mitigando fallos de seguridad y consecuencias no deseadas. Prioridad Media: Monitorización Continua y Detección Proactiva de Anormalidades Establecer mecanismos de supervisión y monitoreo post-despliegue en tiempo real para las métricas de rendimiento y seguridad, permitiendo la detección temprana y automatizada de anomalías, vulnerabilidades o desviaciones de comportamiento. Prioridad Baja: Integración de un Marco de Gobernanza de la IA Adoptar un marco formal de Gestión de Riesgos de la IA (GRIA) que defina políticas, responsabilidades y procedimientos de auditoría periódica y respuesta a incidentes, fomentando una cultura organizacional centrada en la seguridad del sistema y el cumplimiento normativo.