Procedimental
La tercera clase se centra en lo que denominamos peligros procedimentales de la IA. Estos no son fallos inherentes al código, sino riesgos que emergen directamente de los procesos y las acciones tomadas por los individuos involucrados en la fase de desarrollo. Su naturaleza presenta un desafío particular: no son fácilmente cuantificables y, por ende, requieren estrategias de mitigación cualitativas o alternativas. Un caso ilustrativo es la "mala elección en el diseño del modelo", que se manifiesta, por ejemplo, cuando un desarrollador selecciona un modelo de inteligencia artificial que es fundamentalmente inadecuado para el problema que se intenta resolver. Dada esta complejidad para la medición cuantitativa, la solución se orienta hacia enfoques cualitativos. En el ejemplo planteado, una estrategia eficaz podría ser establecer el requisito de que el desarrollador documente y proporcione una justificación racional y exhaustiva de su elección de diseño.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit898
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Requisito de justificación exhaustiva del diseño: Implementar un protocolo de documentación obligatoria que exija a los desarrolladores proporcionar una justificación racional y técnica detallada sobre la idoneidad del modelo de IA seleccionado para el problema específico, previo a cualquier etapa de desarrollo avanzado. 2. Auditoría y validación pre-despliegue: Establecer un proceso formal de auditoría de diseño del sistema, conducido por un equipo de gobernanza de IA independiente, para verificar sistemáticamente la alineación del modelo elegido con los requisitos funcionales, los objetivos de seguridad y los estándares éticos organizacionales. 3. Formación en gobernanza y ética: Desarrollar e implementar programas de capacitación obligatoria para el personal de desarrollo, enfocados en la aplicación práctica de los marcos de gobernanza y ética de la IA para elevar la competencia en la toma de decisiones críticas, como la selección del modelo.