Aplicación
Este concepto se refiere al riesgo intrínseco que plantea la aplicación final o el caso de uso para el que ha sido diseñado un sistema de inteligencia artificial. Es fundamental entender que no todos los usos conllevan el mismo nivel de peligro; el riesgo es inherentemente variable. Existe un espectro evidente donde la implementación de, por ejemplo, un sistema de armas autónomo, representa una amenaza considerablemente mayor que el desarrollo de un simple chatbot de servicio al cliente.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit188
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.0 > Seguridad, fallos y limitaciones del sistema de IA
Estrategia de mitigacion
1. Aplicar la Estrategia de Evitación del Riesgo (Risk Avoidance) Implementar un marco riguroso de evaluación de riesgos para prohibir o descartar proactivamente casos de uso que planteen un peligro intrínseco, catastrófico o inaceptable, como aplicaciones con alto potencial de daño sistémico o consecuencias irreversibles. La mitigación prioritaria consiste en evitar la exposición al riesgo inherente de la aplicación. 2. Establecer Controles de Limitación y Reducción del Riesgo (Risk Limitation and Reduction) Para los casos de uso considerados necesarios pero con riesgo significativo, imponer mecanismos de control que limiten su autonomía y alcance. Esto incluye la obligatoriedad de un 'Human-in-the-Loop' (Control Humano Continuo), la segmentación de funciones con potencial de impacto en el mundo real, y la regulación estricta del acceso y el uso mediante autenticación y políticas de permisos basadas en roles. 3. Priorizar la Transparencia y la Trazabilidad del Caso de Uso Asegurar la plena transparencia sobre la identidad del sistema de IA y sus limitaciones operativas a todos los stakeholders, etiquetando claramente las interacciones o el contenido generado. Además, implementar capacidades de Explainable AI (XAI) para garantizar que los resultados de la aplicación sean trazables y comprensibles, facilitando la auditoría y la rendición de cuentas tras su despliegue (Post-despliegue).