Capacidades de automatización de decisiones personales
Este enunciado aborda el riesgo fundamental de la **mediación algorítmica de decisiones vitales**. El problema se centra en la capacidad de los sistemas de IA no solo para asistir, sino para determinar o influir críticamente en resultados personales de gran trascendencia, como evaluaciones crediticias o procesos de contratación. Desde una perspectiva de seguridad de la IA, esto se relaciona directamente con el desafío del **sesgo algorítmico**, donde los datos de entrenamiento pueden perpetuar o amplificar inequidades sociales, y con la problemática de la **pérdida de control**, donde la autonomía de un sistema avanzado puede hacer que sus acciones decisivas sean impredecibles e ininterrumpibles para la supervisión humana.
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit961
Linea de dominio
5. Interacción Humano-Computadora
5.2 > Pérdida de agencia y autonomía humana
Estrategia de mitigacion
1. Establecimiento de un Marco de Gobernanza de IA para la Soberanía Decisional Implementar un Marco de Gobernanza de Inteligencia Artificial que defina rigurosamente los casos de uso de alto riesgo, exigiendo mecanismos de "Humano en el Lazo" (Human-in-the-Loop) para todas las decisiones que afecten resultados personales vitales (ej. financieras, sanitarias o de empleo). Este marco debe prescribir protocolos de rendición de cuentas (accountability) y la capacidad de intervención y anulación de la decisión algorítmica por un supervisor humano competente. 2. Auditoría y Mitigación Sistemática del Sesgo Algorítmico Instituir procesos continuos de auditoría de sesgo y equidad a lo largo del ciclo de vida del modelo. Esto incluye la curación y validación de conjuntos de datos de entrenamiento para garantizar su representatividad y diversidad, y la aplicación de métricas de equidad (fairness metrics) y técnicas de "debiasing" (como la reponderación o el aprendizaje de representación justa) para prevenir la perpetuación o amplificación de inequidades sociales. 3. Integración de Transparencia, Explicabilidad (XAI) y Mecanismos de Apelación Desarrollar modelos con capacidad de Explicabilidad (XAI) que puedan proveer una justificación comprensible de sus predicciones y decisiones a los individuos afectados, cumpliendo con el derecho a la explicación. Adicionalmente, establecer un canal formal y accesible para que los individuos puedan impugnar o apelar las decisiones automatizadas que impacten significativamente su autonomía.