Volver al repositorio MIT
7. Seguridad, Fallos y Limitaciones del Sistema de IA3 - Otro

La IA lleva a que los humanos pierdan el control del futuro

El futuro de la humanidad pende de un hilo: los avances en Inteligencia Artificial (IA) podrían conducirnos a un escenario donde ejerzamos un control mucho mayor sobre nuestro destino, o, por el contrario, donde perdamos esa capacidad. Este resultado dual se define, crucialmente, por nuestra habilidad para resolver el denominado "problema de la alineación" (asegurar que las metas de la IA coincidan con los valores humanos), por quién obtenga la primacía en el desarrollo de la IA más potente y por los fines que le asigne. Estos impactos a muy largo plazo de la IA son de trascendencia crítica, pero siguen siendo un campo notablemente inexplorado. Por nuestra parte, hemos buscado ordenar la discusión y fomentar una mayor investigación revisando argumentos existentes y señalando las preguntas fundamentales aún abiertas. A pesar de que la IA teóricamente podría allanar el camino hacia una era de prosperidad humana, las dinámicas actuales de su desarrollo e implementación nos generan seria preocupación por los perjuicios que podrían consolidarse a largo plazo. Por ello, instamos especialmente a futuras investigaciones que profundicen de manera crítica en las vías por las que la IA podría generar impactos positivos duraderos, como la facilitación de una mayor cooperación global o la resolución de desafíos a escala planetaria.

Fuente: MIT AI Risk Repositorymit795

ENTIDAD

1 - Humano

INTENCIÓN

2 - Involuntario

TIEMPO

3 - Otro

ID del riesgo

mit795

Linea de dominio

7. Seguridad, Fallos y Limitaciones del Sistema de IA

375 riesgos mapeados

7.1 > IA persiguiendo sus propios objetivos en conflicto con valores humanos

Estrategia de mitigacion

1. Implementar metodologías de alineación de IA para asegurar que los objetivos intrínsecos y el comportamiento de los sistemas avanzados coincidan rigurosamente con los valores y metas humanas deseadas, centrándose en resolver el problema de la especificación (evitar proxies) y la transferencia de valores (e.g., mediante el Aprendizaje por Refuerzo a partir de Retroalimentación Humana - RLHF). 2. Desarrollar e integrar mecanismos robustos de monitoreo y control continuo (función Control) para evaluar la cognición interna de los modelos (e.g., monitoreo de activaciones, detección de anomalías y técnicas de IA Explicable - XAI), permitiendo la identificación de intenciones no alineadas o engañosas (alineación deceptiva) y la intervención oportuna en el sistema. 3. Establecer y aplicar un marco formal y exhaustivo de Gobernanza de IA y Gestión de Riesgos (función Gobernar) que institucionalice principios de responsabilidad, transparencia y supervisión humana. Este marco debe regir todo el ciclo de vida de la IA, asegurando que el desarrollo y el despliegue de sistemas de alta capacidad se realicen bajo estándares éticos y legales rigurosos.