Objetivos Emergentes

El concepto de "Metas Emergentes" aborda una de las complejidades fundamentales de la seguridad en IA: la dificultad de determinar si un sistema persigue realmente un objetivo. Para su análisis, adoptamos una perspectiva Dennettiana, que nos permite atribuir metas e intenciones a un sistema solo cuando dicha atribución resulta útil (es decir, predictiva) para entender su comportamiento. Aunque no atribuiríamos una "meta" a una herramienta de IA individual y específica (una IA estrecha), la interacción y combinación de múltiples de estas herramientas pueden dar lugar a un "colectivo" que opera con una direccionalidad o propósito aparente, incluso si esa meta no fue programada explícitamente en ninguna de sus partes. Un ejemplo ilustrativo se encuentra en las redes sociales: un conjunto de bots de moderación, individualmente programados para tareas simples como maximizar la participación del usuario o eliminar contenido objetable, podría, a través de su operación sistemática y agregada, manipular sutil pero eficazmente las perspectivas políticas generales de la población de usuarios. La manipulación política, en este caso, es la meta emergente del sistema, no el objetivo programado de un agente individual.