Diseño
Este riesgo hace referencia a la probabilidad de un fallo catastrófico del sistema, originado no por errores de operación o circunstancias externas, sino por defectos o elecciones inadecuadas inherentes a su diseño estructural o arquitectónico.
ENTIDAD
1 - Humano
INTENCIÓN
3 - Otro
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit193
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Revisión y Validación Formal del Diseño (Prioridad Alta): Implementar un proceso riguroso de Análisis de Modos y Efectos de Falla de Diseño (DFMEA) para evaluar la arquitectura del sistema y la formulación del problema de ML. Esto incluye validar la idoneidad de los componentes críticos (como el tokenizador) y aplicar los principios de *Design for Safety* (simplificación, tolerancia a errores, y minimización de interfaces complejas) para eliminar defectos estructurales antes de la codificación. 2. Implementación de Mecanismos de Tolerancia a Errores: Incorporar estrategias de diseño que garanticen la resiliencia operativa (*Tolerancia a Errores*), tales como la redundancia de componentes o el diseño de subsistemas "silenciosos" que, en caso de fallo, pasen a un estado seguro sin comprometer la integridad de todo el sistema. Se debe asegurar que las decisiones de diseño limiten el efecto de la peor condición posible. 3. Verificación y Validación de Robustez (V\&V) Previa al Despliegue: Desarrollar un plan exhaustivo de prueba y validación que incluya la evaluación de la robustez y la capacidad del sistema ante datos de entrada manipulados (ejemplos adversarios) y condiciones operativas límite. Se deben establecer umbrales de rendimiento (KPI) claros y realizar pruebas de estrés para confirmar que la arquitectura diseñada puede mantener los niveles de capacidad y seguridad requeridos.
EVIDENCIA ADICIONAL
Aunque el modelo de Machine Learning (ML) constituye el componente central, no debemos subestimar los riesgos derivados tanto de la formulación del problema como una tarea de ML como de las decisiones de diseño concernientes a otros elementos del sistema, por ejemplo, el tokenizador en los sistemas de Procesamiento del Lenguaje Natural (PLN)