Responsabilidades institucionales
La implementación de tecnología avanzada de asistencia en la sociedad, buscando un beneficio generalizado, se enmarca en lo que Rittel y Webber (1973) denominaron un "problema perverso" (wicked problem). La naturaleza de estos desafíos implica que sus soluciones no son previsibles de antemano; deben ser abordadas de forma iterativa, aprendiendo y ajustando constantemente a partir de los datos recopilados durante el propio despliegue. El despliegue de cualquier tecnología potente de propósito general, como la IA, está destinado a perturbar la intrincada red de relaciones sociotécnicas de la cultura moderna, generando externalidades impredecibles en las normas e instituciones que dan estabilidad a la sociedad. Por ejemplo, la creciente adopción de herramientas de IA generativa podría exacerbar la desinformación en eventos críticos, con consecuencias difíciles de pronosticar. Si bien esto no implica que el problema de la IA cooperativa sea irresoluble, sí dicta la metodología que debemos seguir. Se requiere un marco para gestionar la IA general que oriente su desarrollo hacia el beneficio social y lo aleje de los perjuicios. Este enfoque se articula en tres prioridades: Primero, es crucial mantener un escepticismo saludable hacia cualquier afirmación *ex ante* (previa al despliegue) sobre la seguridad. Aunque las pruebas de laboratorio son vitales para la confiabilidad y el alineamiento, no es factible modelar la complejidad de los efectos sociales a multiescala de la IA solo mediante experimentos controlados a pequeña escala. Segundo, debemos establecer como prioridad la ciencia de la medición. Necesitamos cuantificar los efectos, tanto positivos como negativos, que las tecnologías de asistencia avanzada tienen sobre la infraestructura cooperativa de la sociedad. Esto implica una monitorización continua a nivel social, con especial atención a aquellos más afectados, incluidos los no usuarios. Este proceso de "ensayo y error inteligente", aconsejado por el dilema de Collingridge, exige cautela para evitar que características indeseables se incrusten en el tejido social. Tercero, una regulación independiente y proactiva se hace necesaria para proteger a nuestras instituciones de las consecuencias involuntarias, emulando ejemplos históricos. Podríamos buscar establecer una "cultura justa", similar a la de la aviación, caracterizada por la notificación abierta, la investigación y el aprendizaje de los errores, e incluso otorgar a los entes reguladores la facultad de exigir a los desarrolladores que "reviertan" un despliegue de IA, análogo a las obligaciones de retirada de productos.
ENTIDAD
1 - Humano
INTENCIÓN
3 - Otro
TIEMPO
3 - Otro
ID del riesgo
mit390
Linea de dominio
6. Socioeconómico y Ambiental
6.5 > Fallo de gobernanza
Estrategia de mitigacion
1. Priorizar la Ciencia de la Medición y el Monitoreo Continuo Implementar sistemas rigurosos de *monitorización continua* a nivel social para *cuantificar* los efectos, tanto positivos como adversos, de la tecnología de asistencia avanzada en la infraestructura cooperativa. Este proceso de "ensayo y error inteligente" (en línea con el dilema de Collingridge) debe centrarse en los grupos más afectados, incluidos los no usuarios, para guiar la acción iterativa y evitar la incrustación de características indeseables en el tejido social. 2. Establecer Regulación Independiente y la Capacidad de Reversión Desarrollar un marco de *regulación independiente y proactiva* con la facultad explícita de exigir a los desarrolladores la *reversión o retirada* de despliegues de IA que generen consecuencias sistémicas perjudiciales (análogo a la retirada de productos). Adicionalmente, fomentar una *cultura justa* (como en el sector aeronáutico) que promueva la notificación abierta, la investigación y el aprendizaje de errores. 3. Adoptar un Escepticismo *Ex Ante* y un Marco de Gobernanza Iterativo Mantener un *escepticismo fundamentado* hacia las aseveraciones de seguridad previas al despliegue (*ex ante*), reconociendo la inviabilidad de modelar la complejidad de los efectos sociales a multiescala mediante pruebas de laboratorio controladas. La gestión debe asumir que el problema es *perverso* (wicked problem), exigiendo la creación de un marco que oriente el desarrollo de la IA hacia el beneficio social de forma adaptativa y continua, más que mediante una solución estática.