Organizacional
Se refiere al riesgo inherente de que la organización desarrolladora o usuaria del sistema de Aprendizaje Automático (ML) sufra un grave daño financiero o un deterioro significativo de su reputación.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit203
Linea de dominio
6. Socioeconómico y Ambiental
6.0 > Socioeconómico y Ambiental
Estrategia de mitigacion
1. Prioridad: Implementación de un Marco de Gobernanza de IA y Cultura Organizacional Ética Establecer una estructura de gobernanza formal que defina políticas, roles y responsabilidades claras para la gestión del riesgo en sistemas de Aprendizaje Automático (ML). Esta estructura debe fomentar una cultura organizacional que priorice la seguridad y los principios éticos (como la equidad y la privacidad) sobre la velocidad de despliegue o la ganancia a corto plazo. 2. Prioridad: Refuerzo de la Transparencia y la Auditoría Continua Asegurar la trazabilidad y explicabilidad de las decisiones generadas por el sistema de ML, proporcionando documentación detallada sobre su diseño, conjuntos de datos de entrenamiento y funcionamiento. Esto se complementa con la realización de evaluaciones y auditorías de riesgo regulares (incluyendo pruebas de sesgos algorítmicos y robustez) a lo largo del ciclo de vida del sistema para identificar y mitigar proactivamente las vulnerabilidades que puedan resultar en consecuencias negativas. 3. Prioridad: Desarrollo de un Protocolo de Respuesta a Incidentes y Crisis Reputacionales Diseñar y ensayar un plan de gestión de crisis integral que permita una respuesta rápida y transparente ante fallos de ML que generen daño. El protocolo debe establecer procedimientos claros para la detección, contención, corrección y comunicación proactiva con los *stakeholders* (clientes, reguladores y el público) con el objetivo de demostrar responsabilidad y minimizar el deterioro de la confianza pública y financiera.
EVIDENCIA ADICIONAL
Una organización puede incurrir en este tipo de daño cuando un sistema de aprendizaje automático (ML) demuestra tener implicaciones negativas en áreas críticas como la seguridad, la equidad, la protección, la privacidad o el medio ambiente natural. Un ejemplo notorio fue el escarnio público que recibió una empresa a raíz de la respuesta sesgada de su motor de búsqueda a una consulta sobre el idioma 'más feo' de la India [93]. Además, el daño reputacional puede materializarse simplemente por la percepción pública de que el sistema *podría* generar dichas consecuencias negativas, incluso antes de que ocurran fallos reales, como se evidenció con el rechazo que enfrentó un departamento de policía al probar el robot Spot [88].