Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA1 - Pre-despliegue

Malas elecciones de diseño del modelo

La definición de las especificaciones del modelo es crítica, pues errores en esta fase de desarrollo pueden inducir sesgos inherentes o comprometer la fiabilidad operativa del sistema de IA.

Fuente: MIT AI Risk Repositorymit888

ENTIDAD

1 - Humano

INTENCIÓN

2 - Involuntario

TIEMPO

1 - Pre-despliegue

ID del riesgo

mit888

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

1. Prioridad Alta: Validación de Solidez Conceptual Implementar una revisión exhaustiva del diseño del modelo y sus especificaciones (Conceptual Soundness Check) por validadores independientes antes del despliegue. Esto asegura que la arquitectura, los algoritmos seleccionados y las asunciones subyacentes son apropiadas para el problema de negocio, cumplen con las mejores prácticas y no introducen sesgos o errores sistemáticos en la fase de diseño. 2. Prioridad Media: Establecimiento de Gobernanza de Diseño y Controles de Modelado Establecer un marco de gobernanza del modelo que requiera la participación de modeladores experimentados en las decisiones de diseño cruciales. Esto incluye la aplicación de estándares de modelado rigurosos y la implementación de Controles de Modelo (Model Controls) integrados en el sistema para minimizar el riesgo de que las elecciones de especificación comprometan la fiabilidad operativa. 3. Prioridad Media-Baja: Documentación y Análisis de Suposiciones Generar documentación exhaustiva que registre cada decisión de diseño, justifique las principales suposiciones con evidencia externa cuando sea posible, y detalle claramente las limitaciones inherentes del modelo. Esta práctica, complementada con un análisis de sensibilidad, mitiga el riesgo de que las especificaciones erróneas conduzcan a una aplicación indebida o resultados poco fiables.