Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Falta de toma de decisiones ética

La carencia de un marco de razonamiento moral intrínseco en los modelos y sistemas de Inteligencia Artificial presenta el riesgo de que ejecuten decisiones que resulten ser antiéticas o que generen daños y perjuicios significativos.

Fuente: MIT AI Risk Repositorymit954

ENTIDAD

2 - IA

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit954

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

1. Establecimiento de un Marco de Gobernanza Ética Integral Diseñar e implementar un marco de Inteligencia Artificial Responsable (Responsible AI by Design) basado en estándares internacionales (como el NIST AI RMF o la Ley de IA de la UE). Esto debe incluir la definición de políticas éticas claras, la formación de un comité de ética interfuncional y la integración de principios de justicia, equidad y transparencia en todo el ciclo de vida del sistema de IA. 2. Adopción de Mecanismos de Explicabilidad (XAI) y Auditoría Continua Implementar tecnologías de IA Explicable (XAI) para dotar de transparencia a los procesos de toma de decisiones algorítmicos. Complementariamente, se deben establecer procedimientos obligatorios de prueba de sesgos (bias testing) y monitoreo continuo de los modelos en producción para identificar y mitigar proactivamente desviaciones éticas, inconsistencias o *drifts* de datos y modelos en tiempo real. 3. Mandato de Supervisión Humana y Asignación de Responsabilidad Asegurar la intervención humana (*human-in-the-loop*) en la toma de decisiones críticas o de alto riesgo que afecten a individuos o a la sociedad. Paralelamente, establecer estructuras claras de rendición de cuentas (*accountability*) para que la responsabilidad final por los resultados éticos, legales y de seguridad de los sistemas de IA recaiga en personas o entidades identificables, garantizando la trazabilidad.