Falta de toma de decisiones ética
La carencia de un marco de razonamiento moral intrínseco en los modelos y sistemas de Inteligencia Artificial presenta el riesgo de que ejecuten decisiones que resulten ser antiéticas o que generen daños y perjuicios significativos.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit954
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Establecimiento de un Marco de Gobernanza Ética Integral Diseñar e implementar un marco de Inteligencia Artificial Responsable (Responsible AI by Design) basado en estándares internacionales (como el NIST AI RMF o la Ley de IA de la UE). Esto debe incluir la definición de políticas éticas claras, la formación de un comité de ética interfuncional y la integración de principios de justicia, equidad y transparencia en todo el ciclo de vida del sistema de IA. 2. Adopción de Mecanismos de Explicabilidad (XAI) y Auditoría Continua Implementar tecnologías de IA Explicable (XAI) para dotar de transparencia a los procesos de toma de decisiones algorítmicos. Complementariamente, se deben establecer procedimientos obligatorios de prueba de sesgos (bias testing) y monitoreo continuo de los modelos en producción para identificar y mitigar proactivamente desviaciones éticas, inconsistencias o *drifts* de datos y modelos en tiempo real. 3. Mandato de Supervisión Humana y Asignación de Responsabilidad Asegurar la intervención humana (*human-in-the-loop*) en la toma de decisiones críticas o de alto riesgo que afecten a individuos o a la sociedad. Paralelamente, establecer estructuras claras de rendición de cuentas (*accountability*) para que la responsabilidad final por los resultados éticos, legales y de seguridad de los sistemas de IA recaiga en personas o entidades identificables, garantizando la trazabilidad.