Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Aplicación

Este concepto se refiere al riesgo intrínseco que plantea la aplicación final o el caso de uso para el que ha sido diseñado un sistema de inteligencia artificial. Es fundamental entender que no todos los usos conllevan el mismo nivel de peligro; el riesgo es inherentemente variable. Existe un espectro evidente donde la implementación de, por ejemplo, un sistema de armas autónomo, representa una amenaza considerablemente mayor que el desarrollo de un simple chatbot de servicio al cliente.

Fuente: MIT AI Risk Repositorymit188

ENTIDAD

1 - Humano

INTENCIÓN

1 - Intencional

TIEMPO

2 - Post-despliegue

ID del riesgo

mit188

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.0 > Seguridad, fallos y limitaciones del sistema de IA

Estrategia de mitigacion

1. Aplicar la Estrategia de Evitación del Riesgo (Risk Avoidance) Implementar un marco riguroso de evaluación de riesgos para prohibir o descartar proactivamente casos de uso que planteen un peligro intrínseco, catastrófico o inaceptable, como aplicaciones con alto potencial de daño sistémico o consecuencias irreversibles. La mitigación prioritaria consiste en evitar la exposición al riesgo inherente de la aplicación. 2. Establecer Controles de Limitación y Reducción del Riesgo (Risk Limitation and Reduction) Para los casos de uso considerados necesarios pero con riesgo significativo, imponer mecanismos de control que limiten su autonomía y alcance. Esto incluye la obligatoriedad de un 'Human-in-the-Loop' (Control Humano Continuo), la segmentación de funciones con potencial de impacto en el mundo real, y la regulación estricta del acceso y el uso mediante autenticación y políticas de permisos basadas en roles. 3. Priorizar la Transparencia y la Trazabilidad del Caso de Uso Asegurar la plena transparencia sobre la identidad del sistema de IA y sus limitaciones operativas a todos los stakeholders, etiquetando claramente las interacciones o el contenido generado. Además, implementar capacidades de Explainable AI (XAI) para garantizar que los resultados de la aplicación sean trazables y comprensibles, facilitando la auditoría y la rendición de cuentas tras su despliegue (Post-despliegue).