Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA3 - Otro

Equilibrio de riesgos de la IA

Esta categoría constituye más del 16% de los artículos y se centra en la conceptualización y el abordaje de los riesgos potenciales inherentes a los sistemas de Inteligencia Artificial. Dada la ubicuidad de estas tecnologías, los trabajos de investigación exploran las implicaciones de dichos riesgos a través de contextos críticos que abarcan desde la imprevisibilidad algorítmica y los fallos de diseño, hasta su uso en propósitos militares, protocolos de emergencia, y el escenario de una potencial toma de control por parte de la IA.

Fuente: MIT AI Risk Repositorymit546

ENTIDAD

3 - Otro

INTENCIÓN

3 - Otro

TIEMPO

3 - Otro

ID del riesgo

mit546

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

1. Establecer un Marco de Gobernanza y Gestión de Riesgos de IA (AI G\&RM) Implementar una estrategia formal de gobernanza que abarque políticas, procesos y marcos reconocidos internacionalmente, como el NIST AI Risk Management Framework o la Ley de IA de la UE. Esto es esencial para establecer una cultura organizacional de riesgo, definir roles de responsabilidad (por ejemplo, un Chief AI Officer) y guiar el uso ético y responsable de la tecnología a lo largo de su ciclo de vida. 2. Garantizar la Robustez del Modelo y la Resiliencia Operativa Fortalecer la solidez de los sistemas de IA mediante la implementación de prácticas de ingeniería de seguridad en el desarrollo, incluyendo pruebas adversarias rigurosas para evaluar y mitigar las vulnerabilidades del modelo. Es imperativo establecer un monitoreo continuo y en tiempo real para identificar desviaciones en el desempeño, derivas del modelo o patrones de comportamiento anómalos que indiquen fallos de diseño o amenazas de seguridad. 3. Fomentar la Explicabilidad (XAI) y Mantener Trazabilidad para la Rendición de Cuentas Implementar mecanismos de Inteligencia Artificial Explicable (XAI) para incrementar la transparencia sobre cómo el sistema toma decisiones y genera resultados. De manera complementaria, mantener registros detallados y trazables (audit trails) de las decisiones algorítmicas y las intervenciones humanas en las fases de diseño y operación, lo cual es fundamental para la auditoría, la identificación de sesgos y la asignación de responsabilidad en caso de consecuencias no deseadas.