Exceso de confianza
Con el avance exponencial de la capacidad de la Inteligencia Artificial, la humanidad cede un control progresivo sobre sistemas críticos y desarrolla una dependencia irreversible de arquitecturas complejas cuya lógica interna no comprende en su totalidad. En este escenario, la opacidad y el nivel de control delegados implican que las fallas sistémicas o las consecuencias no intencionadas resultarán esencialmente incontrolables.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit807
Linea de dominio
5. Interacción Humano-Computadora
5.2 > Pérdida de agencia y autonomía humana
Estrategia de mitigacion
1. Prioridad Alta: Fomentar la investigación en alineamiento y control de la IA. Invertir significativamente en investigación para desarrollar salvaguardas y arquitecturas algorítmicas que garanticen que los sistemas de Inteligencia Artificial, incluso aquellos con capacidades sobrehumanas, mantengan objetivos compatibles con los valores humanos y permitan una intervención significativa por parte del operador humano en ciclos de decisión críticos. 2. Prioridad Media: Implementar la transparencia y auditabilidad sistémica. Exigir y desarrollar metodologías para aumentar la interpretabilidad y la explicabilidad del funcionamiento interno de los modelos, asegurando que los supervisores humanos puedan verificar de forma independiente las recomendaciones y detectar cualquier optimización que diverja de la intención humana. 3. Prioridad Baja: Establecer marcos regulatorios y límites de despliegue. Crear e imponer estándares de seguridad y marcos de gobernanza que incluyan la restricción del despliegue de IA en sistemas de infraestructura crítica o de alto riesgo hasta que se demuestre fehacientemente su seguridad, resiliencia y la capacidad humana de mantener el control.