Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA2 - Post-despliegue

Moral

La dilución de la responsabilidad moral humana en decisiones de vida o muerte a medida que se incrementa la autonomía de los sistemas artificiales.

Fuente: MIT AI Risk Repositorymit598

ENTIDAD

3 - Otro

INTENCIÓN

2 - Involuntario

TIEMPO

2 - Post-despliegue

ID del riesgo

mit598

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.3 > Falta de capacidad o robustez

Estrategia de mitigacion

1. Establecer la Supervisión Humana Significativa (SHS) para Decisiones Críticas: Exigir por regulación y diseño que cualquier sistema de IA involucrado en decisiones de vida o muerte o con impacto irreversible opere bajo un modelo activo de *Human-in-the-Loop* o *Human-on-the-Loop*, garantizando que la responsabilidad legal y moral última recaiga siempre en una persona o entidad claramente definida. 2. Implementar Sistemas de Trazabilidad y Responsabilidad Algorítmica Clara: Desarrollar mecanismos obligatorios de documentación, auditoría y explicabilidad (*XAI*) que permitan trazar cada decisión del sistema de IA hasta las partes interesadas responsables (desarrolladores, operadores o implementadores), evitando la "dilución de la responsabilidad" inherente al "desafío de las muchas manos". 3. Formular e Integrar Directrices Éticas por Diseño: Incorporar los valores fundamentales de la transparencia, la equidad y la rendición de cuentas directamente en la programación y el ciclo de vida del sistema de IA. Esto incluye auditar regularmente los datos de entrenamiento para prevenir sesgos y asegurar que la IA se rija por pautas éticas previamente definidas.