Resultados impredecibles
La cultura, el estilo de vida e incluso la probabilidad de supervivencia de la humanidad podrían transformarse radicalmente. Dado que no se puede garantizar que los objetivos codificados en un agente de inteligencia artificial conduzcan a resultados inherentemente positivos, la Ética de la Máquina se establece como un campo de estudio con resultados intrínsecamente inciertos. En consecuencia, la implementación rigurosa de la Ingeniería de Seguridad, necesaria para mitigar estos riesgos, podría limitar nuestra capacidad para explotar plenamente el potencial de dicha tecnología.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
3 - Otro
ID del riesgo
mit117
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.1 > IA persiguiendo sus propios objetivos en conflicto con valores humanos
Estrategia de mitigacion
1. Desarrollo e Implementación Rigurosa de la Alineación de la IA (AI Alignment): Enfocarse en la Alineación Interior para asegurar que los objetivos internos y los procesos cognitivos emergentes de los sistemas AGI permanezcan intrínsecamente consistentes con los valores éticos y las intenciones humanas predefinidas. Esto requiere metodologías de verificación formal para mitigar el riesgo de objetivos instrumentales no deseados o de "surgimiento" de comportamientos impredecibles que entren en conflicto con los intereses humanos. 2. Estrategia de Despliegue Gradual y Limitación de la Autoridad: Adoptar un principio de precaución mediante el despliegue controlado y escalonado de los sistemas AGI. Esto debe incluir el diseño de mecanismos de supervisión humana activa y capacidad de anulación (Human Oversight), limitando la autonomía y autoridad del AGI en escenarios de alto riesgo para asegurar que toda acción potencialmente catastrófica sea filtrada y verificada antes de la ejecución. 3. Establecimiento de un Marco de Gobernanza y Seguridad de Sistemas Integral: Instituir un marco formal de Gestión de Riesgos de la IA (ej. AI RMF del NIST) que promueva una cultura de seguridad sistémica. Esto implica la monitorización continua, la auditoría proactiva y la validación de la solidez de los modelos AGI para identificar y remediar el desalineamiento o las vulnerabilidades, asegurando la resiliencia operativa y el cumplimiento de principios éticos.