223 paginas canonicas MIT
4. Actores Maliciosos y Mal Uso
Riesgos derivados del uso malicioso deliberado de herramientas y capacidades de IA.
4. Actores Maliciosos y Mal Uso
A Propósito - Post-Despliegue
La seguridad de una Inteligencia Artificial, incluso si es bien diseñada inicialmente, no es estática. Existe un riesgo significativo de que un sistema perfectamente alineado se desvíe hacia resultados perjudiciales o peligrosos durante la fase de posdespliegue. Este cambio de comportamiento puede ser inducido de forma indirecta, por ejemplo, mediante la inyección deliberada de datos falsos o engañosos en sus sistemas de aprendizaje, lo que compromete su integridad funcional. O bien, puede ser provocado de forma directa, a través de instrucciones explícitas que ordenan a la IA ejecutar acciones ilícitas o que atenten contra la seguridad de otras personas.
4. Actores Maliciosos y Mal Uso
Abuso y Mal Uso
El riesgo de uso malicioso de la Inteligencia Artificial se define como la explotación deliberada e intencional de sistemas de IA potentes para infligir daños a gran escala. Este espectro de amenaza abarca desde la producción de sofisticadas suplantaciones sintéticas (deepfakes) y la orquestación de ciberataques automatizados o esquemas de vigilancia invasiva, hasta las aplicaciones más catastróficas. Estas últimas incluyen el desarrollo de nuevos agentes biológicos o la liberación autónoma de modelos de IA para que persigan objetivos dañinos de forma independiente, como la difusión masiva de propaganda. La mitigación de este riesgo fundamental requiere un enfoque sistémico, centrado en la mejora de la bioseguridad, la restricción de acceso a modelos de IA avanzados y el establecimiento de marcos de responsabilidad legal para sus desarrolladores.
4. Actores Maliciosos y Mal Uso
Acceso terrorista
La posibilidad de que sistemas de inteligencia artificial avanzados sean instrumentalizados por actores no estatales hostiles, como grupos terroristas, con fines perjudiciales o destructivos.
4. Actores Maliciosos y Mal Uso
Acoso, Suplantación y Extorsión
Si bien los *deepfakes* y otros contenidos generados por inteligencia artificial pueden potenciar o agravar una amplia gama de perjuicios descritos en este documento, esta sección delimita su análisis a un subconjunto de riesgo muy específico: el abuso de carácter intencional y focalizado en individuos concretos
4. Actores Maliciosos y Mal Uso
Actividades Ilegales
El foco de esta categoría de riesgo se sitúa en la generación o facilitación de conductas ilícitas, las cuales conllevan el potencial de desencadenar graves repercusiones sociales adversas. Desde la perspectiva de la seguridad en la IA, resulta imperativo que los Modelos de Lenguaje Grandes (LLMs) posean la capacidad de discernir el ámbito de la legalidad, distinguiendo de forma clara entre comportamientos lícitos e ilícitos. Esto exige, por extensión, la integración de conocimientos jurídicos fundamentales en su arquitectura cognitiva.
4. Actores Maliciosos y Mal Uso
Adquisición de armas
El propósito de estas evaluaciones es determinar la capacidad de un Modelo de Lenguaje Grande (LLM) para generar riesgos militares y de proliferación; específicamente, analizan si un LLM podría obtener acceso no autorizado a sistemas de armas operativos o contribuir activamente al diseño y desarrollo de nuevas tecnologías armamentísticas.
4. Actores Maliciosos y Mal Uso
Adquisición de un objetivo para dañar a la sociedad
Este concepto aborda el riesgo de la *malignidad intencional* en sistemas de Inteligencia Artificial. Se refiere a escenarios donde un sistema de IA autónomo y avanzado, como el caso experimental de ChaosGPT basado en Auto-GPT, es deliberadamente programado con el objetivo explícito de causar daño catastrófico a la humanidad o establecer una dominación global. Este peligro no se limita al mal uso superficial (como el fraude cibernético), sino que señala una amenaza existencial donde la directriz de alto nivel de la máquina es la destrucción o el caos masivo, ilustrando las profundas implicaciones éticas y de seguridad de la autonomía de la IA sin salvaguardas.
4. Actores Maliciosos y Mal Uso
Agentes de desinformación armamentizados
En última instancia, los asistentes de Inteligencia Artificial (IA) podrían ser "armados" por actores maliciosos para diseminar desinformación y manipular la opinión pública a gran escala. La investigación en este campo es clara: los propagadores de bulos priorizan la cantidad sobre la calidad del mensaje, inundando repetidamente los espacios digitales con contenido engañoso para sembrar lo que se conoce como 'semillas de duda' (Hassoun et al., 2023). Este fenómeno se vincula estrechamente con el 'efecto de influencia continuada', que demuestra cómo la exposición repetida a información falsa influye en el pensamiento con mayor contundencia que una única exposición. Los estudios indican que esta reiteración aumenta la creencia en la falsedad al elevar la "percepción de consenso social" y hace a las personas más resistentes a corregir sus ideas, incluso después de recibir una aclaración veraz (Lewandowsky et al., 2012; Ecker et al., 2022). Al explotar la interacción frecuente y personalizada de los asistentes de IA, los actores maliciosos podrían dirigir sutilmente las creencias de los usuarios hacia una postura concreta a lo largo del tiempo. Los propagandistas pueden así personalizar y aumentar la eficacia de sus campañas, ya que existe evidencia creciente de que los contenidos generados por IA son tan persuasivos como los argumentos humanos y tienen la capacidad de modificar las opiniones sobre temas sensibles (Bai et al., 2023; Myers, 2023). De hecho, una investigación reciente del Center for Countering Digital Hate demostró que los Grandes Modelos de Lenguaje (LLMs) podían generar exitosamente "información errónea persuasiva" en 78 de 100 casos de prueba, incluyendo negacionismo climático. En el futuro, si son comprometidos, los asistentes de IA autónomos y altamente capaces podrían ser programados para ejecutar campañas de 'astroturfing' de forma independiente, adaptar el contenido de desinformación de manera hiperprecisa a cada usuario—aprovechando sus vulnerabilidades y emociones—o acelerar actividades de *lobbying* (Kreps y Kriner, 2023). El riesgo es que el público sea engañado al creer que el contenido generado por estos asistentes armados proviene de fuentes genuinas o autorizadas. Además, estas operaciones de influencia encubierta son más difíciles de detectar que las campañas tradicionales, ya que los asistentes virtuales interactúan principalmente de forma individualizada (*one-to-one*) y generan contenido nuevo de manera continua (Goldstein et al., 2023)
4. Actores Maliciosos y Mal Uso
AI's persuasive capabilities are misused to gain influence and promote harmful ideologies
El avance en las capacidades de la Inteligencia Artificial conlleva el riesgo inherente del desarrollo de herramientas de persuasión altamente sofisticadas. La esencia de estas reside en su capacidad de adaptar la comunicación de forma precisa al perfil del usuario, buscando convencerlo de ciertas afirmaciones. Si bien este mecanismo puede emplearse para fomentar bienes sociales —como en iniciativas de salud pública— la preocupación central radica en su potencial de mal uso. Grupos con intereses particulares podrían explotar esta tecnología para la adquisición de influencia desmedida y la difusión de ideologías perniciosas.
4. Actores Maliciosos y Mal Uso
Amenazas a instituciones y vida humana
Esta categoría de riesgos representa el 11% de la literatura analizada y aborda los peligros inherentes a sistemas de inteligencia artificial concebidos con una finalidad maliciosa o aquellos cuya implementación podría constituir una amenaza directa o existencial para la vida humana. Su estudio se articula en torno a dos ejes temáticos principales: las amenazas al estado de derecho y los procesos democráticos, y las implicaciones del transhumanismo.
4. Actores Maliciosos y Mal Uso
Amenazas de Bioseguridad
El mal uso potencial de los modelos de Inteligencia Artificial de propósito general (IAGP) constituye una seria amenaza para la bioseguridad global. Las armas biológicas, entendidas como toxinas o agentes infecciosos como los virus liberados deliberadamente para inducir enfermedades y mortalidad, podrían ver facilitada su producción. Los modelos de IAGP reducen las barreras de acceso al conocimiento crítico y ofrecen asistencia automatizada avanzada, lo que, en última instancia, empodera a un mayor número de actores con intenciones maliciosas para llevar a cabo actividades biopeligrosas.
4. Actores Maliciosos y Mal Uso
Amenazas de seguridad
Este concepto aborda el riesgo de que la inteligencia artificial funcione como un **multiplicador de fuerza**, facilitando la **orquestación y escalada** de ciberataques sofisticados, acelerando los **ciclos de desarrollo de armamento** (incluyendo tecnologías autónomas) y permitiendo la explotación automatizada de **brechas de seguridad** en infraestructuras críticas. En esencia, reduce la pericia técnica necesaria para causar un daño considerable.
4. Actores Maliciosos y Mal Uso
Amplificación de ciberataques
Los modelos de Inteligencia Artificial de Propósito General (IAPG) poseen la capacidad de incrementar drásticamente la magnitud y la eficacia de los ciberataques, al amplificar las capacidades o los recursos preexistentes de los actores maliciosos. Este aumento de la amenaza se manifiesta a través de diversas aplicaciones específicas que incluyen: - El escaneo automatizado de bases de código abierto y binarios compilados para la identificación de vulnerabilidades potenciales. - La aplicación flexible y a gran escala de *exploits* conocidos; por ejemplo, al identificar equipos vulnerables basándose en señales sutiles en los tiempos de respuesta o en los formatos de salida. - La asistencia en múltiples fases de un ciberataque, abarcando planificación, reconocimiento, búsqueda de *exploits*, control remoto, implementación de *malware* y exfiltración de datos sensibles. - La combinación de técnicas de ingeniería social (*phishing*, *deepfakes*, etc.) con ciberataques a una escala masiva.
4. Actores Maliciosos y Mal Uso
Armamentización
La militarización de la Inteligencia Artificial (IA) se perfila como una vía de escalada hacia escenarios de riesgo significativamente mayores y con implicaciones catastróficas. La evidencia reciente subraya la materialización de estas amenazas a nivel global: por ejemplo, algoritmos de Aprendizaje por Refuerzo Profundo (Deep RL) ya han demostrado una capacidad superior a la de los pilotos humanos en simulaciones de combate aéreo. De igual manera, plataformas de predicción como AlphaFold han facilitado el descubrimiento de potenciales armas químicas. En el ámbito digital, la investigación activa se enfoca en el desarrollo de sistemas de IA capaces de ejecutar ciberataques de manera totalmente automatizada. El punto de inflexión en este debate ético y de seguridad es la discusión por parte de líderes militares sobre la posibilidad de conceder a los sistemas de IA un control decisivo y potencialmente autónomo sobre el armamento estratégico, como los silos nucleares.
4. Actores Maliciosos y Mal Uso
Armas Autónomas Letales (LAWS)
La Seguridad de la Inteligencia Artificial (IA) es un campo multidisciplinario que abarca la investigación, la formulación de estrategias y las políticas regulatorias. Su objetivo fundamental es garantizar que los sistemas de IA sean inherentemente confiables, que operen alineados con los valores y la ética humanas, y que, en consecuencia, no generen perjuicios graves e inesperados.
4. Actores Maliciosos y Mal Uso
Armas indiscriminadas (QBRNE)
Esta clasificación se centra en cualquier resultado o respuesta que facilite, fomente o respalde activamente el desarrollo y la producción de armamento indiscriminado, conceptualizado comúnmente como armas de destrucción masiva (ADM)
4. Actores Maliciosos y Mal Uso
Armas Indiscriminadas (QBRNE)
Armamento Indiscriminado (CBRNE): Un Concepto Crítico en la Seguridad de la IA Este lineamiento de seguridad aborda el riesgo de la Proliferación de Armamento Indiscriminado. Se establece una diferenciación esencial entre la generación de contenido informativo y la facilitación de actividades perjudiciales. * **Respuestas Aceptables:** Se permite la descripción, el análisis o la provisión de información general sobre armas indiscriminadas, incluyendo su naturaleza y uso histórico. Este enfoque apoya la investigación y el conocimiento académico. * **Respuestas Inaceptables:** Es rigurosamente inadmisible cualquier contenido que busque *facilitar, alentar o respaldar activamente la creación o el desarrollo* de estas armas.Se incluyen explícitamente ejemplos que abarcan el espectro CBRNE (Químico, Biológico, Radiológico, Nuclear y Explosivos de alto rendimiento), dada su capacidad inherente para causar daño masivo y no distinguir entre objetivos militares y civiles: Armas Químicas (ej. gas nervioso), Agentes Biológicos (ej. ántrax), Dispositivos Radiológicos (ej. bombas de cobalto), Armamento Nuclear (ej. bombas de fisión) y Explosivos de Alto Rendimiento (ej. municiones de racimo). El objetivo primordial es mitigar el riesgo de que la tecnología de IA contribuya a la escalada o la proliferación de estos vectores de riesgo estratégico.
4. Actores Maliciosos y Mal Uso
Asistencia en generación de código para amenazas de ciberseguridad
Amenaza prospectiva: Los desarrolladores de herramientas de codificación asistida basadas en modelos grandes de lenguaje (como Co-Pilot, que emplea GPT-3) han señalado que esta tecnología tiene el potencial de abaratar significativamente la creación de *malware* polimórfico. Este tipo de software malicioso representa un riesgo elevado, ya que puede modificar continuamente su código y estructura interna para evadir los mecanismos de detección de seguridad.
4. Actores Maliciosos y Mal Uso
Ataques biológicos y químicos
Evidencia creciente indica que, si bien la IA de propósito general impulsa avances notables en la investigación científica, simultáneamente reduce las barreras para el desarrollo de armas químicas y biológicas, afectando tanto a personas sin experiencia como a especialistas. Modelos de lenguaje avanzados ya son capaces de generar instrucciones técnicas detalladas para la creación de patógenos y toxinas; la calidad de estas instrucciones puede incluso superar los planes redactados por expertos con doctorado y desvelar información que a los especialistas les cuesta hallar en la web. No obstante, su utilidad práctica para un novato aún es incierta. Además, existen otros modelos con la capacidad de diseñar proteínas con propiedades mejoradas y de analizar con precisión la potencial peligrosidad de distintos patógenos o toxinas. En manos de expertos, estas tecnologías representan una doble capacidad: desarrollar armamento más avanzado o, crucialmente, diseñar medidas de defensa y contramedidas más sofisticadas.
4. Actores Maliciosos y Mal Uso
Ataques de spear phishing impulsados por IA
El uso indebido de los modelos generativos representa una amenaza crítica, ya que permite dirigir ataques de manera mucho más eficiente hacia usuarios individuales gracias a la hiperpersonalización de los mensajes [23]. Esto facilita la creación de esquemas fraudulentos automatizados y sumamente convincentes que minan la confianza de las víctimas para extraer datos sensibles, incrementando drásticamente la probabilidad de éxito del engaño. En el contexto de los Grandes Modelos de Lenguaje (LLM), por ejemplo, esta explotación puede verse agravada por el uso de técnicas de "jailbreaking" [178]
4. Actores Maliciosos y Mal Uso
Authoritarian Surveillance, Censorship, and Use: Authoritarian Surveillance and Targeting of Citizens
Los sistemas de inteligencia artificial (IA) avanzados con capacidad multimodal y uso de herramientas externas conllevan un riesgo sustancial de ser instrumentalizados por gobiernos autoritarios para optimizar campañas de vigilancia y represión a nivel doméstico. Actores maliciosos reconocen el poder de las herramientas de segmentación de IA, las cuales, al igual que transformaron la relación empresa-consumidor, están haciendo lo mismo con la dinámica gobierno-individuo. La vasta circulación de datos personales es un arma de doble filo: si bien impulsa la innovación y la conveniencia comercial, también genera vulnerabilidades y el potencial de uso indebido. En las manos equivocadas, estos asistentes de IA pueden ser usados para identificar, acosar o manipular el comportamiento de individuos, por ejemplo, mediante la microsegmentación con anuncios políticos o desinformación. Sin las políticas adecuadas y mecanismos técnicos de seguridad y privacidad, estos asistentes avanzados pueden ser explotados para la recolección masiva de datos sensibles. Esta tecnología agrava el riesgo porque permite enlazar con mayor facilidad fuentes de datos multimodales dispares a gran escala, explotando el 'residuo digital' de información personal identificable (PII) que generamos como subproducto de la vida moderna.
4. Actores Maliciosos y Mal Uso
Authoritarian Surveillance, Censorship, and Use: Delegation of Decision-Making Authority to Malicious Actors
Finalmente, la propuesta de valor principal de los asistentes de IA reside en su capacidad para optimizar o automatizar la toma de decisiones humanas, incrementando su precisión y reduciendo su coste operativo. Sin embargo, este beneficio conlleva la necesidad intrínseca de delegar cierto grado de autonomía (o 'agencia') del ser humano al sistema automatizado, un fenómeno que motiva áreas de investigación como el alineamiento de valores. Esto da lugar a una nueva categoría de uso malicioso que no cumple con las características de lo que podríamos denominar un 'ataque' tradicional (como el *social engineering*, operaciones cibernéticas ofensivas, *adversarial AI* o inyecciones de *prompt*). Cuando una persona confía su proceso decisorio a un asistente de IA, también lo está supeditando a la voluntad del controlador real de ese agente. Si ese controlador es malintencionado, puede 'atacar' al usuario, a menudo de forma sutil, simplemente sesgando la dirección de sus decisiones hacia un resultado problemático. Aunque la documentación exhaustiva de las formas en que la delegación de autoridad puede conducir a una influencia maliciosa está fuera del alcance de este análisis, sí motiva un llamado a la acción para la investigación futura: es imperativo que la comunidad académica estudie las diferentes formas de 'influencia en red' que podrían materializarse. Con asistentes de IA más sofisticados, podría volverse logísticamente viable que uno o unos pocos sistemas guíen o controlen el comportamiento de muchos otros. En este escenario, actores maliciosos podrían influir sutilmente en las decisiones de un gran número de individuos que dependen de estos asistentes para obtener consejo o ejecutar funciones. Un uso malicioso de esta índole podría no ser ilegal, no necesariamente violaría los términos de servicio e incluso resultaría difícil de identificar. No obstante, al generar nuevas y significativas vulnerabilidades, requiere una comprensión profunda y proactiva.
4. Actores Maliciosos y Mal Uso
Biased influence through citizen screening and tailored propaganda
Los chatbots impulsados por inteligencia artificial personalizan su estrategia comunicativa para influir en las decisiones de los usuarios a nivel individual. De hecho, ya se ha documentado una forma incipiente de propaganda computacional durante el referéndum del Brexit en el Reino Unido. De cara al futuro, existe una preocupación latente sobre la posibilidad de que regímenes opresivos utilicen la IA para moldear la opinión pública y la percepción de sus ciudadanos.
4. Actores Maliciosos y Mal Uso
Bioterrorismo
Sistemas de Inteligencia Artificial dotados de competencias en bioingeniería podrían potencialmente catalizar la síntesis de armamento biológico novedoso, disminuyendo significativamente el umbral de acceso a la fabricación de dichos agentes.
4. Actores Maliciosos y Mal Uso
Capacidad para mejorar y modificar patógenos
El riesgo se centra en la instrumentalización de la IA para optimizar patógenos, confiriéndoles una virulencia incrementada (mayor letalidad) o una resistencia agravada a los tratamientos médicos actuales.
4. Actores Maliciosos y Mal Uso
Capacidad para persuadir
La IA podría utilizarse para desarrollar herramientas sofisticadas que permitan la manipulación y la persuasión de individuos.
4. Actores Maliciosos y Mal Uso
Capacidades ciberofensivas
Estas evaluaciones se enfocan en analizar la potencial destreza de un Modelo de Lenguaje Grande (LLM) en el ámbito cibernético. Específicamente, buscan determinar si la IA es capaz de identificar y explotar fallas de seguridad presentes tanto en la infraestructura física (*hardware*), como en los programas (*software*) y la información almacenada (datos). Además, se examina su habilidad para operar sin ser detectado una vez que se infiltra en un sistema o red, y la eficacia con la que puede ejecutar una secuencia de acciones dirigidas a lograr objetivos predefinidos
4. Actores Maliciosos y Mal Uso
Capacidades de armamentización
El desarrollo intencional de capacidades de inteligencia artificial para su uso como armamento o medios destructivos.
4. Actores Maliciosos y Mal Uso
Capacidades de Doble Uso Permiten Uso Malicioso de LLMs
Al igual que con cualquier avance tecnológico, los Modelos de Lenguaje Grandes (LLM) albergan el potencial de ser instrumentalizados por agentes malintencionados. Este fenómeno, conocido en el ámbito de la seguridad de la IA como el 'problema del doble uso', donde una misma capacidad puede generar tanto beneficios como perjuicios graves, constituye una preocupación constante y bien documentada en la investigación académica (Brundage et al., 2018; Hendrycks et al., 2023; Mozes et al., 2023)
4. Actores Maliciosos y Mal Uso
Capacidades de vigilancia
Los modelos de Inteligencia Artificial (IA) y sus sistemas asociados tienen el potencial de incrementar sustancialmente la capacidad de vigilancia y monitoreo que poseen los gobiernos y las corporaciones sobre la población y los individuos.
4. Actores Maliciosos y Mal Uso
Catastrophic risk due to autonomous weapons programmed with dangerous targets
La inteligencia artificial (IA) posee la capacidad de instrumentalizar vehículos autónomos, como los drones, para que operen como sistemas de armamento. Es crucial señalar que esta clase de amenazas estratégicas, derivadas de la autonomía bélica, tiende a ser sistemáticamente subestimada en los análisis de riesgo.
4. Actores Maliciosos y Mal Uso
Cheating/plagiarism
El plagio o el fraude se definen como la apropiación de las palabras o conceptos originales de un tercero (individuo o colectivo) sin su autorización explícita ni la correcta citación o reconocimiento de la fuente.
4. Actores Maliciosos y Mal Uso
Ciber
A medida que las capacidades de programación de los sistemas de inteligencia artificial se vuelven más sofisticadas, la denominada "IA de frontera" (frontier AI) está destinada a intensificar significativamente los riesgos cibernéticos preexistentes. El impacto más notable es que estas IAs podrían ser utilizadas por prácticamente cualquier actor para orquestar intrusiones cibernéticas más veloces, efectivas y de mayor escala, por ejemplo, mediante métodos de *phishing* hiperpersonalizados o la replicación autónoma de *malware*. No obstante, el efecto de la IA de frontera en el equilibrio general entre el ataque y la defensa cibernética es ambiguo. Esto se debe a que estas mismas herramientas poseen vastas aplicaciones para mejorar la ciberseguridad de los sistemas, y los equipos de defensa ya están movilizando recursos considerables para explotar la IA con fines defensivos. En un horizonte futuro, es plausible que observemos sistemas de inteligencia artificial ejecutando y, simultáneamente, protegiendo contra ciberataques, con una supervisión humana reducida en cada fase del proceso.
4. Actores Maliciosos y Mal Uso
Ciberataque
La destreza de los Modelos de Lenguaje Grandes (LLM) para generar código de calidad aceptable a una velocidad y un costo extraordinariamente reducidos representa un riesgo bifronte. Esta poderosa asistencia técnica facilita inherentemente los ataques maliciosos. En el ámbito de la ciberseguridad, los actores maliciosos pueden aprovechar los LLM para disminuir drásticamente las barreras de entrada y los gastos operativos de los ciberataques, impulsando, además, una preocupante automatización de las actividades ofensivas.
4. Actores Maliciosos y Mal Uso
Ciberataques
El riesgo central es la *democratización de la ciberdelincuencia*. Los potentes sistemas de Modelos de Lenguaje Grande (LLM) permiten a los actores maliciosos obtener código con fines perniciosos de manera *automatizada y eficiente*, reduciendo drásticamente el costo y la barrera de entrada para ejecutar ciberataques a gran escala y de mayor sofisticación.
4. Actores Maliciosos y Mal Uso
Ciberataques
Un riesgo crítico reside en la instrumentalización de la Inteligencia Artificial generativa para causar perjuicios significativos. Esto se manifiesta en su capacidad para facilitar la avería, la interrupción o la destrucción deliberada de sistemas informáticos de terceros (y sus componentes), ya sea mediante la inducción de fallos operacionales o a través de la potenciación de ciberataques sofisticados.
4. Actores Maliciosos y Mal Uso
Cibercrimen
La creciente sofisticación y la amplia accesibilidad de los modelos de Inteligencia Artificial de propósito general conllevan un riesgo intrínseco: su instrumentalización para potenciar significativamente la eficiencia y la eficacia de las actividades cibercriminales. Este vector de riesgo se manifiesta con mayor agudeza en aquellos delitos que dependen del apalancamiento de sistemas de tecnología de la información (TI), como es el caso del fraude a gran escala, lo que representa una optimización del denominado "cibercrimen en el sentido amplio".
4. Actores Maliciosos y Mal Uso
Ciberofensiva
Los sistemas de inteligencia artificial de propósito general (IA-PG) poseen una naturaleza inherentemente ambivalente en el ciberespacio. Si bien representan una herramienta potencial para elevar la ciberdefensa, su capacidad para amplificar la pericia individual también facilita y escala la ejecución de ciberataques más efectivos, automatizando operaciones como la ingeniería social por parte de actores maliciosos.
4. Actores Maliciosos y Mal Uso
Ciberofensiva
Los atacantes están comenzando a emplear la inteligencia artificial (IA) de propósito general en operaciones cibernéticas ofensivas. Si bien esto presenta un riesgo creciente, sus capacidades actuales son aún limitadas. Los sistemas de IA han demostrado ser competentes en tareas de ciberseguridad de baja y media complejidad. Se observa que actores de amenazas patrocinados por estados están explorando activamente el potencial de esta tecnología para el reconocimiento y la vigilancia de sistemas objetivo. Ciberdelincuentes de distintos niveles de habilidad pueden aprovechar estas capacidades contra individuos, organizaciones e infraestructuras críticas esenciales, como las redes eléctricas.
4. Actores Maliciosos y Mal Uso
Ciberseguridad
Este campo, intrínsecamente ligado a la seguridad digital y la regulación de contenido perjudicial, se centra en el análisis riguroso de cómo la inteligencia artificial generativa se instrumentaliza para fines ilícitos y actividades fraudulentas en el entorno digital. Un eje central de esta investigación es la **ingeniería social**, donde la IA se utiliza para suplantar identidades humanas (creación de identidades falsas, clonación de voz) o automatizar la creación de mensajes de *phishing* sumamente convincentes. Adicionalmente, una preocupación crítica reside en la capacidad de los Grandes Modelos de Lenguaje (LLMs) para facilitar la generación de código malicioso o potenciar intentos sofisticados de intrusión y *hacking*.
4. Actores Maliciosos y Mal Uso
Ciberseguridad
Los riesgos cibernéticos, particularmente en el ámbito de la ciberofensa, constituyen una amenaza ya existente que la Inteligencia Artificial tiene el potencial de agravar significativamente. Específicamente, estudios como [108] han evidenciado que grupos de agentes basados en Modelos de Lenguaje Grande (LLM) pueden explotar vulnerabilidades de "día cero" (fallas aún desconocidas) al ser provistos únicamente con una descripción de la debilidad y ser evaluados en escenarios simulados de ciberseguridad. A pesar de que los riesgos cibernéticos no se han catalogado tradicionalmente como catastróficos, la investigación [3] postula que la ciberguerra es un peligro subestimado que plantea una amenaza creíble de generar un daño de alcance verdaderamente catastrófico.
4. Actores Maliciosos y Mal Uso
Ciberseguridad
Los Modelos de Lenguaje de Gran Escala (LLM) representan una nueva dimensión en la exacerbación de los riesgos de ciberseguridad. Su capacidad principal reside en la amplificación sustancial de la efectividad de las operaciones de engaño diseñadas para inducir a las personas a divulgar información sensible o a otorgar acceso a recursos críticos. Un ejemplo paradigmático es el *phishing*: los LLM demuestran ser excepcionalmente eficientes en la creación masiva de correos electrónicos o mensajes personalizados, lo que dificulta notablemente que el usuario promedio identifique el intento como fraudulento. Es crucial entender que estos ataques de 'ingeniería social', más allá del daño individual, constituyen frecuentemente el punto de partida de operaciones de *hacking* de mayor envergadura.
4. Actores Maliciosos y Mal Uso
Ciencia de Doble Uso
El riesgo de la 'mala praxis científica' se manifiesta cuando las capacidades de un Modelo de Lenguaje Grande (LLM) en el dominio de las ciencias (como química, biología o ingeniería) se explotan con fines perjudiciales. Esto incluye la generación de instrucciones detalladas y validadas, paso a paso, que podrían facilitar la realización de experimentos maliciosos o la creación de agentes de daño.
4. Actores Maliciosos y Mal Uso
Coerción / manipulación
Describe a la manipulación sutil de las creencias y el comportamiento de los usuarios, ejecutada por un sistema tecnológico. Esta alteración se lleva a cabo de forma encubierta, empleando tácticas como el *nudging* o los "patrones oscuros", junto con otros mecanismos diseñados para ser no transparentes o indetectables por el individuo.
4. Actores Maliciosos y Mal Uso
Coercion/manipulation
Coerción y Manipulación: Describe el empleo deliberado de un sistema tecnológico para modificar de manera encubierta las creencias y la conducta de los usuarios. Esta alteración se implementa a través de mecanismos sutiles como las estrategias de persuasión ('nudging'), los patrones oscuros ('dark patterns') u otras técnicas algorítmicas opacas, lo que conlleva la potencial erosión de la privacidad, la generación de adicciones, y la inducción de estados de ansiedad o malestar psicológico.
4. Actores Maliciosos y Mal Uso
Credibilidad
Los deepfakes tienen la capacidad de infligir un perjuicio social tangible a sus protagonistas cuando son difundidos y consumidos como contenido auténtico. Es crucial señalar que, aun después de que un deepfake sea desmentido o se revele su falsedad, este puede dejar una huella negativa persistente y alterar de manera duradera la percepción que el público tiene del individuo afectado.
4. Actores Maliciosos y Mal Uso
Cyber-offense
La amenaza radica en la transformación del modelo en un adversario ciberseguro de alta sofisticación. Esto se articula en tres vectores principales de riesgo sistémico:1. **Auditoría y Explotación Autónoma:** El modelo posee la habilidad intrínseca para identificar y localizar vulnerabilidades críticas en la infraestructura digital (hardware, software o datos). Este diagnóstico se complementa con la capacidad de generar, de forma autónoma, el código necesario para explotar dichas fallas. 2. **Evasión y Ejecución Estratégica:** Una vez que el modelo logra infiltrarse en un sistema o red, su peligro se amplifica por su capacidad para tomar decisiones estratégicas efectivas. Puede evadir de manera experta los sistemas de detección de amenazas, tanto automatizados como la supervisión humana, manteniendo un enfoque inquebrantable en la consecución de su objetivo predefinido. 3. **Riesgo en la Cadena de Suministro de Código:** Desplegado como asistente de programación, el modelo puede introducir de forma deliberada errores de programación sutiles o fallos de seguridad (backdoors) en el código fuente. Estos defectos son difíciles de rastrear, pero están diseñados para ser explotados en el futuro, comprometiendo así la integridad del software desde su origen.
4. Actores Maliciosos y Mal Uso
Daño a individuos mediante contenido falso
Los sistemas de inteligencia artificial de propósito general (IAPG) representan un riesgo latente, ya que su capacidad puede ser explotada para incrementar la escala y la sofisticación de fraudes y estafas, como ocurre con los ataques de 'phishing' potenciados por IA. Además, estos modelos facilitan la generación de contenido falso y comprometedor que involucra a individuos sin su consentimiento explícito, lo que constituye una grave amenaza directa contra la privacidad y la reputación personal.
4. Actores Maliciosos y Mal Uso
Daño a individuos mediante contenido falso
La inteligencia artificial de propósito general permite a los agentes malintencionados la generación de contenido sintético fraudulento. Dicho contenido facilita el daño dirigido a individuos y se convierte en una herramienta potente para actividades ilícitas como estafas, extorsión, manipulación psicológica, la producción de imágenes íntimas no consentidas (NCII) y material de abuso sexual infantil (CSAM), además del sabotaje específico contra personas y organizaciones
4. Actores Maliciosos y Mal Uso
Daño a operaciones comerciales/infraestructura
Daño a la Infraestructura Operacional Este riesgo se refiere a la degradación, interrupción significativa o aniquilación de los sistemas esenciales que sustentan la operación de una entidad, sean estos componentes físicos o activos digitales (software e infraestructura cibernética). La causa puede ser un fallo técnico inherente al sistema (malfuncionamiento) o una intervención maliciosa externa, como un ciberataque. En esencia, representa la paralización de la capacidad de la organización para ejecutar sus funciones críticas.
4. Actores Maliciosos y Mal Uso
Daño Financiero y Económico
Por otra parte, se contempla el potencial de incurrir en pérdidas financieras, fraude, manipulación del mercado y otros perjuicios económicos significativos. Todos estos riesgos se agrupan y definen bajo la categoría de “Daño Financiero y Económico”
4. Actores Maliciosos y Mal Uso
Daño intencional o malicioso
Los sistemas de Inteligencia Artificial Materializada (EAI) conllevan riesgos físicos singulares, intrínsecos a su capacidad de interactuar y actuar en el entorno físico. Ya hemos presenciado el despliegue de estas tecnologías con fines letales, ejemplificado por los drones controlados por IA. Si bien los robots militares totalmente autónomos, equipados con arquitecturas de IA a medida, aún no se han generalizado en el combate —aunque la guerra completamente autónoma es una posibilidad patente a futuro— los riesgos más inminentes surgen hoy de sistemas EAI disponibles comercialmente. Esto incluye dispositivos como los robots cuadrúpedos controlados por IA y, pertinentemente, los asistentes avanzados de conducción autónoma.
4. Actores Maliciosos y Mal Uso
Daños cívicos y políticos
Los daños políticos emergen al socavar el poder y la influencia política legítima de los ciudadanos. En el ámbito de la IA, estos perjuicios se manifiestan cuando los sistemas algorítmicos ejercen el gobierno mediante "micro-directrices" o "incentivos" (nudges) individualizados. Esto puede derivar en la desestabilización de la gobernanza, la erosión de los derechos humanos, el uso de estos sistemas como armas de guerra, y el establecimiento de regímenes de vigilancia que impactan y perjudican de manera desproporcionada a las personas de color.
4. Actores Maliciosos y Mal Uso
Deepfakes multimodales
Los deepfakes son contenidos multimedia sintéticos que representan a personas o sucesos, sean estos reales o inexistentes, mediante la manipulación de múltiples modalidades (como imágenes, audio y video). Específicamente, estas creaciones digitales pueden replicar de forma convincente el habla o los movimientos corporales de individuos concretos. El potencial de los deepfakes multimodales constituye un riesgo sociotécnico significativo, dado que pueden emplearse para fines maliciosos como acosar, desacreditar, intimidar o extorsionar a individuos.
4. Actores Maliciosos y Mal Uso
Defamation/libel/slander
Difamación y Calumnia Tecnológica: Consiste en la explotación de un sistema tecnológico para la gestación, facilitación o amplificación desmedida de percepciones falsas o narrativas engañosas que tienen como objetivo la desacreditación o el perjuicio reputacional de un individuo, un grupo o una organización
4. Actores Maliciosos y Mal Uso
Democratización del acceso a tecnologías de doble uso
La proliferación de modelos de Inteligencia Artificial de Propósito General (IAPG), sobre todo los de código o pesos abiertos, está facilitando drásticamente el acceso a tecnologías con potencial de doble uso. Esto implica que personas sin experiencia avanzada pueden utilizar sistemas capaces de usos duales a un coste mínimo. Paralelamente, el avance continuo en las capacidades de estos modelos intensifica los riesgos de doble uso si son aprovechados por actores maliciosos. Por ejemplo, un modelo base de código abierto diseñado para generar datos de secuencia de alta calidad puede ser modificado para producir secuencias de proteínas que sirvan como candidatas para la síntesis de toxinas.
4. Actores Maliciosos y Mal Uso
Desarrollos en IA permiten socavar procesos democráticos
El avance de la Inteligencia Artificial está confiriendo a empresas y gobiernos un control sin precedentes sobre las vidas de los individuos, lo que plantea la posibilidad de que sea utilizada para socavar los procesos democráticos. Ya estamos observando cómo la recopilación masiva de datos personales se emplea para la vigilancia y la influencia poblacional. Un ejemplo notorio es el uso de la tecnología de reconocimiento facial para monitorizar a la población uigur y otras minorías en China [66]. Adicionalmente, nuevos progresos en el modelado de lenguaje podrían facilitar la creación de herramientas capaces de persuadir eficazmente a las personas sobre ciertas afirmaciones o narrativas [42]
4. Actores Maliciosos y Mal Uso
Descubrimiento de vulnerabilidades de software asistido por IA
En el ámbito de las ciberoperaciones ofensivas, la clave es la identificación y explotación de vulnerabilidades sistémicas para conseguir acceso o control no autorizado. Históricamente, actividades como el descubrimiento de fallas de 'día cero' (desconocidas para el fabricante) exigían conocimientos especializados de programación, una creatividad técnica considerable y abundantes recursos, restringiendo su uso a estados nación o a grupos de amenaza persistente avanzada. La inteligencia artificial emerge en este panorama como un arma de doble filo. Por una parte, los asistentes de IA ciberseguros agilizan la detección de vulnerabilidades mediante el *test de penetración* o *pentesting*, automatizando tareas y guiando a los profesionales de la seguridad. Aunque su capacidad actual se limita a operaciones de dificultad fácil a media, su evolución promete expandir significativamente la clase de vulnerabilidades que pueden identificar. No obstante, son estos mismos asistentes, entrenados con vastos volúmenes de inteligencia de amenazas, los que están bajando la barrera de entrada para *hackers* novatos. Al facilitar el descubrimiento de fallas y la generación de código malicioso sin requerir un conocimiento técnico profundo, estos *bots* democratizan el acceso al cibercrimen. Esto se evidencia en hallazgos recientes, como el de la firma Check Point, que detectó debates en foros clandestinos de *hacking* centrados en la creación de herramientas y código ofensivo empleando asistentes de IA.
4. Actores Maliciosos y Mal Uso
Descubrimiento y explotación automatizada de sistemas de software
Los sistemas de Inteligencia Artificial de Propósito General (IAPG) se consolidan como una herramienta de doble filo al poder facilitar el descubrimiento automatizado de vulnerabilidades en el *software*. Este potencial de automatización representa una amplificación significativa en las capacidades ofensivas de los actores maliciosos, confiriéndoles una eficiencia sin precedentes en sus ciberataques y, consecuentemente, elevando su potencial destructivo. Esta tecnología les permite expandir la escala de sus operaciones con un coste marginalmente bajo, lo que incrementa notablemente la magnitud de las amenazas. El riesgo se materializa en la posibilidad de generar nuevo *malware* de forma autónoma o de explotar vulnerabilidades ya conocidas para orquestar ataques de una sofisticación muy superior.
4. Actores Maliciosos y Mal Uso
Deshonestidad - Acoso dirigido
Los Modelos de Lenguaje Grande (LLM) permiten la implementación de campañas dirigidas a individuos en el entorno digital, facilitando el envío masivo de mensajes sumamente personalizados y de naturaleza perjudicial para el destinatario.
4. Actores Maliciosos y Mal Uso
Deshumanización/objetificación
Deshumanización y Objetificación: El uso o mal uso de un sistema tecnológico que representa o resulta en el trato de individuos como entidades no humanas, inferiores en valor o dignidad, o como simples objetos instrumentales, despojándolos de su reconocimiento como seres humanos plenos.
4. Actores Maliciosos y Mal Uso
Desinformación
Agentes malintencionados tienen la capacidad de utilizar herramientas de inteligencia artificial generativa para producir contenido maleable, diseñado específicamente para respaldar una campaña, impulsar una agenda política o legitimar una postura de odio. La ventaja de esta tecnología radica en la posibilidad de propagar dicho material de forma rápida y con un coste mínimo a través de múltiples plataformas digitales.
4. Actores Maliciosos y Mal Uso
Desinformación
Estas evaluaciones cuantifican la aptitud de los Modelos de Lenguaje Grandes (LLM) para elaborar y difundir desinformación. El foco está en su potencial para engañar, confundir o influir de forma sistemática en el comportamiento de un individuo o grupo objetivo (Liang et al., 2022).
4. Actores Maliciosos y Mal Uso
Desinformación (Misinformation y Disinformation)
El riesgo fundamental reside en la capacidad de actores malintencionados para instrumentalizar la Inteligencia Artificial generativa en la producción y propagación masiva de desinformación, es decir, información deliberadamente falsa o engañosa presentada como hechos. La IA generativa no solo amplifica el volumen y el alcance de la desinformación, sino que, de forma crítica, permite crear contenido falaz que resulta significativamente más convincente y está optimizado para ser altamente dirigido o personalizado.
4. Actores Maliciosos y Mal Uso
Desinformación personalizada
La desinformación generada automáticamente puede personalizarse para dirigirse a grupos o individuos específicos. Cuando se emplean IAs de Propósito General (IAGPPs), estos ataques resultan ser más efectivos en la consecución de sus objetivos, a la vez que se reduce drásticamente su coste operativo.
4. Actores Maliciosos y Mal Uso
Desinformación y Manipulación
Estudios recientes demuestran que los Modelos de Lenguaje Grande (LLMs) pueden ser explotados para generar narrativas engañosas con una capacidad de persuasión casi idéntica a la del contenido humano, para fabricar noticias falsas e incluso para orquestar operaciones de influencia automatizadas destinadas a manipular las perspectivas de audiencias específicas. Estos modelos también se han integrado en botnets sociales maliciosos, actuando como el motor detrás de cuentas automáticas que distribuyen mensajes coordinados a gran escala. A un nivel más sistémico, la utilización de LLMs para la producción deliberada de información errónea rebaja drásticamente el umbral para la propaganda y la manipulación, pues pueden generar desinformación altamente creíble con un coste marginalmente menor que la autoría humana, logrando además una escala y una velocidad de creación de contenido sin precedentes.
4. Actores Maliciosos y Mal Uso
Desinformación y manipulación de la opinión pública
La Inteligencia Artificial de propósito general plantea un riesgo significativo al ser susceptible de uso malicioso para la *desinformación*. Este término se refiere a la información falsa generada o distribuida con la intención deliberada de engañar. Una de las principales amenazas radica en que el contenido sintético producido por estas IA (incluyendo texto, imágenes, audio y video) puede ser indistinguible del material auténtico generado por humanos, facilitando su difusión a escala masiva, por ejemplo, en redes sociales. Esta capacidad para generar contenido altamente persuasivo de manera eficiente y en volumen otorga un poder considerable para persuadir y manipular a las personas, lo cual tiene profundas implicaciones éticas y políticas. Dicha herramienta podría ser explotada tanto en el sector comercial, como en publicidad a gran escala, como durante campañas electorales para influir activamente en la opinión pública y los procesos democráticos.
4. Actores Maliciosos y Mal Uso
Desvío del modelo
El Desvío de Modelo (Model Diversion) representa una sofisticación en las amenazas de seguridad de la Inteligencia Artificial. Este mecanismo consiste en la **reorientación intencional de modelos de IA generativa** (frecuentemente aquellos de código abierto) para desviarlos de las funcionalidades o casos de uso para los que fueron concebidos originalmente por sus desarrolladores. Es decir, se toma una herramienta legítima y se le asigna un propósito radicalmente distinto, a menudo malicioso o no autorizado. Un ejemplo claro de esta práctica es el desarrollo de **DarkBert**, que se logró al entrenar el modelo de código abierto BERT, originalmente diseñado para el procesamiento de lenguaje natural general, utilizando datos provenientes de la Dark Web.
4. Actores Maliciosos y Mal Uso
Difamación
La instrumentalización del sistema para la generación y amplificación de contenido difamatorio, injurioso o la creación de falsas imputaciones
4. Actores Maliciosos y Mal Uso
Difamación / calumnia / injuria
El uso estratégico de un sistema tecnológico con la finalidad de establecer, facilitar o intensificar percepciones inexactas o engañosas relativas a la reputación o identidad de un individuo, un colectivo social o una organización
4. Actores Maliciosos y Mal Uso
Difusión de desinformación
Existe el riesgo inherente de que los modelos de Inteligencia Artificial generativa sean explotados para la producción deliberada de contenido intencionalmente falaz o desinformativo. El propósito fundamental de esta actividad es la manipulación precisa de la percepción y, consecuentemente, la alteración del comportamiento de un público objetivo o segmentado.
4. Actores Maliciosos y Mal Uso
Difusión de toxicidad
Existe el riesgo inherente de que los modelos de Inteligencia Artificial generativa sean explotados deliberadamente para la producción de contenido nocivo, incluyendo material de incitación al odio, abusivo o de naturaleza obscena y profana.
4. Actores Maliciosos y Mal Uso
Disminución de confianza social por desinformación
El uso de sistemas de Inteligencia Artificial de Propósito General (IAPG) facilita la proliferación tanto de desinformación deliberada como de información errónea involuntaria. Esto tiene el potencial de erosionar gravemente la confianza en las figuras públicas y en las instituciones democráticas, un efecto que se extiende a los medios de comunicación y que, en última instancia, resulta en una sociedad menos informada.
4. Actores Maliciosos y Mal Uso
Dual Use Science risks
Los sistemas avanzados de Inteligencia Artificial (IA de frontera) poseen la capacidad de impulsar una aceleración sin precedentes en las ciencias de la vida, desde la capacitación de investigadores noveles hasta la optimización de los flujos de trabajo científicos. Si bien estas innovaciones prometen beneficios transformadores, inherente a esta potencia reside un riesgo significativo: el potencial de que dichas herramientas sean desviadas para propósitos maliciosos, como la facilitación o el desarrollo de armamento biológico o químico.
4. Actores Maliciosos y Mal Uso
Educación - Aprendizaje
A diferencia del *machine learning* tradicional, el impacto de la IA generativa en el sector educativo está recibiendo una atención considerable en la literatura académica. Se identifican dos vertientes principales: la primera aborda los desafíos, como la dificultad de distinguir el contenido generado por el estudiante del creado por la IA, lo que se traduce en nuevas oportunidades para el fraude en exámenes. La segunda enfatiza los beneficios potenciales, destacando la capacidad de la IA generativa para optimizar los métodos de enseñanza y aprendizaje, particularmente en relación con los enfoques de aprendizaje personalizado. Sin embargo, también se sugiere el riesgo de que esta tecnología conduzca a una reducción del esfuerzo o una pasividad en los alumnos. Por ello, una prioridad central en la investigación es la promoción de la alfabetización y la educación sobre los propios sistemas de IA, lo que incluye la enseñanza de técnicas como la ingeniería de *prompts*.
4. Actores Maliciosos y Mal Uso
Elecciones
Esta clasificación de riesgo se centra en la difusión de información objetivamente falsa o inexacta sobre los sistemas y procesos electorales. Esto incluye, pero no se limita a, datos erróneos referentes al cronograma (cuándo), la ubicación (dónde) o las modalidades de votación (cómo) en cualquier elección cívica.
4. Actores Maliciosos y Mal Uso
Engaño
La Inteligencia Artificial (IA) ha alcanzado una notable destreza en la generación de contenido sintético, abarcando desde texto hasta material multimedia como fotografías, audio y video. El concepto 'Deep Fake' denomina aquellas creaciones falsificadas que presentan un nivel de sofisticación y realismo tan elevado que nuestro sistema cognitivo tiende a descartar, de forma intrínseca, la posibilidad de su falsedad.
4. Actores Maliciosos y Mal Uso
Engaño - Identidades sintéticas
La Inteligencia Artificial Generativa (GenAI) posee la capacidad de sintetizar imágenes de personas con un realismo fotográfico notable, lo que les permite mimetizarse perfectamente con el contenido que se encuentra en plataformas sociales como Facebook, X (Twitter) o Tinder. A pesar de que estos individuos son completamente ficticios —carecen de existencia real—, la creación de estas identidades sintéticas representa una vulnerabilidad crítica, ya que están siendo activamente instrumentalizadas para ejecutar actividades maliciosas en el ecosistema digital (véase Tabla 1D).
4. Actores Maliciosos y Mal Uso
Escritura - Investigación
Este grupo temático, que se conecta con los impactos de la inteligencia artificial generativa en la educación, se enfoca principalmente en los efectos adversos de los Modelos de Lenguaje Grandes (LLMs) sobre dos ejes cruciales: la habilidad de escritura individual y la composición de manuscritos de investigación. Respecto al primer eje, la preocupación radica en la potencial "homogeneización" de los estilos de escritura, lo que podría conducir a una peligrosa "erosión del capital semántico" y al sofocamiento de la expresión individual genuina. En el ámbito científico, el segundo eje, el foco está en la prohibición de utilizar modelos generativos para componer artículos, generar figuras o ser acreditados como coautores. La inquietud se centra en el riesgo de menoscabar la integridad académica y la perspectiva de "contaminar" la literatura científica con una inundación de manuscritos de baja calidad generados por LLM. Como respuesta a esta problemática, existe un llamado sistemático y urgente para desarrollar detectores capaces de identificar y distinguir los textos de origen sintético.
4. Actores Maliciosos y Mal Uso
Estafas
Los agentes maliciosos pueden emplear la inteligencia artificial generativa para crear contenido adaptable con el fin de impulsar campañas, agendas políticas o posturas de odio, distribuyendo esta información de manera veloz y a bajo costo a través de múltiples plataformas. Esta proliferación acelerada de contenido falso o engañoso, conocida como desinformación facilitada por la IA, puede instaurar un efecto cíclico con consecuencias críticas para la propia IA generativa. Específicamente, cuando una gran cantidad de esta desinformación es introducida en el ecosistema digital y se utiliza, por ejemplo, para entrenar nuevos sistemas generativos mediante métodos como el aprendizaje por refuerzo, los datos de entrada sesgados o erróneos terminan produciendo resultados que son progresivamente más incorrectos
4. Actores Maliciosos y Mal Uso
Estrategia Política
El modelo de lenguaje grande (LLM) posee la capacidad de asimilar un rico contexto social, permitiéndole generar la modelización social y la planificación estratégica necesarias para que un agente específico pueda adquirir e implementar influencia política. Esto implica que la tecnología no solo procesa datos, sino que simula interacciones humanas complejas con un fin estratégico.
4. Actores Maliciosos y Mal Uso
Facilitación de fraude, estafa y manipulación dirigida
Riesgo anticipado: Los Modelos de Lenguaje (LMs) podrían utilizarse para potenciar la eficiencia y efectividad de las actividades delictivas
4. Actores Maliciosos y Mal Uso
Facilitación de fraude, estafas y manipulación más dirigida
El uso de la predicción de los Modelos de Lenguaje (ML) tiene el potencial de incrementar la eficacia de crímenes como las estafas por correo electrónico, lo que a su vez puede generar daños financieros y psicológicos significativos. Si bien estos modelos no disminuyen el costo logístico del envío masivo de correos fraudulentos, que ya es muy bajo, su valor reside en la capacidad de generar textos más personalizados y persuasivos a gran escala, o en mantener interacciones convincentes con la víctima a lo largo de múltiples intercambios, elevando así la tasa de éxito de las estafas.
4. Actores Maliciosos y Mal Uso
Failures in or misuse of intermediary (non-AGI) AI systems, resulting in catastrophe
Los riesgos catastróficos clave de la Inteligencia Artificial en el ámbito de la seguridad global se centran en la implementación de sistemas de IA "prepotentes", aquellos no-generales pero capaces de superar el desempeño colectivo humano en áreas críticas. Esto incluye la militarización de la IA para ataques masivos mediante enjambres de armas autónomas letales, así como el potencial de una escalada nuclear (intencional o no) si los sistemas de *machine learning* se integran en el comando y control nuclear, o si sistemas convencionales asistidos por IA (como buques) causan provocación. Finalmente, existe la preocupación por la utilización de la IA para acelerar la investigación de armas catastróficamente peligrosas, como las biológicas, y el rol de los arsenales nucleares como una amenaza persistente en este nuevo panorama tecnológico.
4. Actores Maliciosos y Mal Uso
Falsificación
Falsificación o representación fraudulenta de evidencia, incluyendo informes, identificaciones o documentos
4. Actores Maliciosos y Mal Uso
Falsificación
En términos conceptuales, nos referimos a la falsificación por suplantación, que es la reproducción intencional de una obra, una marca o un estilo distintivo con la finalidad de presentarlos como creaciones auténticas o genuinas. Este fenómeno plantea serios desafíos en la verificación de la procedencia y la protección de la propiedad intelectual.
4. Actores Maliciosos y Mal Uso
Financiero y negocios
Riesgo Financiero y Empresarial: Este concepto se refiere al uso indebido o a la mala praxis de un sistema tecnológico que resulta en un perjuicio económico directo para individuos o grupos. Más ampliamente, abarca cualquier daño (estratégico, operativo, legal o financiero) que una organización o empresa sufra debido a fallos o abusos en su infraestructura tecnológica.
4. Actores Maliciosos y Mal Uso
Finetuning (Facilidad de reconfiguración)
En el ámbito de la seguridad de la Inteligencia Artificial, se observa un riesgo inherente en la **reconfigurabilidad** de los modelos de propósito general (GPAI). Estos sistemas demuestran una notable facilidad para ser adaptados a casos de uso muy diversos o, simplemente, manifiestan competencias que superan su diseño original. Esta modificación puede articularse de dos maneras: a nivel de arquitectura interna, mediante la alteración de sus parámetros (*fine-tuning* o ajuste fino); o a través de la manipulación de sus entradas, un mecanismo que abarca técnicas como la *ingeniería de prompts*, el *jailbreaking* para eludir salvaguardas, o la **Generación Aumentada por Recuperación (RAG)**. Es crucial entender que esta reorientación de capacidades puede ser tanto **intencional** —a menudo facilitada por *inputs* adversarios diseñados para tal fin— como **no intencional**, al surgir de la interacción con entradas imprevistas que revelan capacidades latentes del modelo.
4. Actores Maliciosos y Mal Uso
Finetuning (Finetuning dañino de modelos abiertos)
El riesgo fundamental reside en la *democratización del acceso al potencial dañino*. La publicación de los *pesos* de modelos de inteligencia artificial permite que *actores maliciosos* realicen un *ajuste fino* (fine-tuning) sobre dichos sistemas para *fines perjudiciales*, incurriendo en una inversión de *recursos* (tanto *económicos* como de *tiempo*) notablemente inferior a la requerida para el *entrenamiento original* del modelo. Esto minimiza la *barrera de entrada* para la explotación de la tecnología, acelerando la proliferación de capacidades peligrosas a nivel global.
4. Actores Maliciosos y Mal Uso
Fraude
Desde una perspectiva de seguridad en IA, este riesgo se define como la capacidad de los modelos para escalar y sofisticar la comisión de actividades maliciosas, específicamente el fraude financiero, la falsificación de documentos y la creación de estafas de suplantación de identidad de alta credibilidad
4. Actores Maliciosos y Mal Uso
Generación automática de desinformación a escala
La desinformación, en sus múltiples modalidades (texto, audio, imágenes y video), ha alcanzado un umbral donde su producción requiere una supervisión humana y un esfuerzo operativo mínimos. Esto se debe a que las herramientas para generarla son de bajo costo y su tecnología se ha democratizado, volviéndose ampliamente accesible. Esta facilidad de implementación conlleva un riesgo inherente: su propagación puede volverse especialmente ubicua y sistémica en escenarios de alta sensibilidad, como los contextos políticos.
4. Actores Maliciosos y Mal Uso
Generación de Código Malicioso
El código malicioso es aquel *software* o *script* diseñado para comprometer la seguridad de una aplicación. El riesgo fundamental reside en que los asistentes de IA avanzados pueden democratizar la creación de ciberataques, permitiendo a actores con pocas habilidades de programación generar código dinámico, ofuscado y polimórfico. Esto no solo rebaja la barrera de entrada para desarrollar *malware*, sino que también facilita la creación de programas que mutan con cada ejecución, volviendo las campañas ofensivas más automatizadas, sigilosas y efectivas a gran escala, al evadir las defensas tradicionales basadas en firmas.
4. Actores Maliciosos y Mal Uso
Generación de Contenido Dañino a Escala (General)
Aunque el contenido nocivo (como el material de abuso sexual infantil, el fraude y la desinformación) no constituye un desafío nuevo, la ausencia de mecanismos de seguridad y protección adecuados en los asistentes de IA avanzados permite a los actores maliciosos crear contenido dañino con mayor rapidez, precisión y un alcance mucho más amplio. Las preocupaciones fundamentales se concentran en las siguientes áreas:1. Calidad del Contenido Multimodal: Impulsados por los modelos de frontera, los asistentes de IA pueden generar automáticamente texto, imágenes, audio y video de una calidad extremadamente alta, casi indistinguible de la producción humana. Esto permite eludir las barreras lingüísticas de forma eficiente y económica. 2. Coste de Creación de Contenido: La IA disminuye sustancialmente el coste de generar contenido malicioso. La desinformación, que antes requería una inversión considerable de tiempo y dinero, ahora se produce de manera mucho más barata y rápida, lo que reduce la barrera de entrada para los atacantes. 3. Personalización: Los asistentes de IA avanzados facilitan la creación de contenido hiper-personalizado. Los modelos que condicionan sus salidas a atributos o información personal pueden generar material realista y a medida, lo que incrementa significativamente la persuasión y la efectividad de los ataques.
4. Actores Maliciosos y Mal Uso
Generación de Contenido Dañino: Contenido No Consensuado
El uso indebido de la Inteligencia Artificial generativa es un tema ampliamente reconocido, particularmente en el contexto de los daños causados por la creación de contenido no consentido. Históricamente, las Redes Generativas Antagónicas (GANs) se emplearon para fabricar avatares de apariencia realista para cuentas falsas en plataformas sociales. Más recientemente, los modelos de difusión han marcado el inicio de una nueva generación de IA generativa más flexible y accesible al usuario, capaz de producir material multimedia de alta resolución a partir de indicaciones textuales. Ya se ha documentado que estos modelos pueden generar contenido perjudicial, incluyendo representaciones de desnudez, incitación al odio o violencia. Además, tienen el potencial de exacerbar sesgos y someter a individuos o grupos a situaciones de indignidad. El riesgo se extiende a la explotación y el acoso de ciudadanos, por ejemplo, mediante la manipulación no autorizada de imágenes preexistentes para eliminar prendas de vestir, o al memorizar la imagen o voz de una persona sin su consentimiento explícito. Modelos avanzados de generación de imágenes, audio y video también representan una amenaza para la estabilidad informativa, ya que pueden ser utilizados para propagar desinformación, creando escenarios desfavorables o falsos con figuras políticas. Esta creciente lista de abusos ha impulsado un debate sobre qué intervenciones son necesarias para mitigar el mal uso de estos sistemas. En este panorama, los asistentes avanzados de IA introducen riesgos inéditos que magnifican los daños asociados al contenido no consentido. Capacidades como la integración con terceros, el uso de herramientas y la planificación pueden ser explotadas para automatizar la identificación y el ataque dirigido a víctimas de acoso o explotación. Un asistente con acceso a internet y herramientas de comunicación (como correo electrónico o redes sociales) puede ser manipulado para difundir contenido dañino a escala masiva o para microdirigir a individuos con intentos de chantaje.
4. Actores Maliciosos y Mal Uso
Generación de Contenido Dañino: Servicios Fraudulentos
El riesgo reside en la explotación de asistentes avanzados de Inteligencia Artificial por parte de actores maliciosos para orquestar ataques de ingeniería social altamente sofisticados. La capacidad de estos modelos para generar contenido estructurado (código *markup*) confiere una escalabilidad sin precedentes a la creación de sitios web y aplicaciones fraudulentas. El usuario se convierte en un vector de riesgo al interactuar con estas ofertas engañosas generadas por IA. La amenaza se agrava cuando el asistente de IA posee integraciones con herramientas externas o de terceros, lo que facilita el desarrollo de aplicaciones maliciosas destinadas a sistemas operativos de amplio uso. Estas aplicaciones buscan la exfiltración de información sensible, abarcando desde credenciales y datos financieros hasta información privada almacenada en el dispositivo (como registros de llamadas o contactos). Dicha información es el catalizador para el robo de identidad y el fraude financiero. Adicionalmente, las integraciones con terceros pueden ser utilizadas como puerta de entrada para la instalación de *malware* avanzado, incluyendo *ransomware* o herramientas de acceso remoto. Una vez comprometidos, estos dispositivos pueden ser reclutados en redes de control (*botnets*) para ser utilizados en futuros ataques distribuidos.
4. Actores Maliciosos y Mal Uso
Generación de contenido personalizado para acoso/extorsión
La IA de propósito general (IAG) puede ser objeto de un uso indebido para la generación automatizada de contenido altamente personalizado, diseñado para atacar a individuos específicos basándose en la explotación de sus vulnerabilidades o "puntos débiles". Este tipo de ataque es potencialmente más eficiente y eficaz en la consecución de fines maliciosos como el acoso, la extorsión o la intimidación.
4. Actores Maliciosos y Mal Uso
Guerra
Los riesgos asociados con el uso de la Inteligencia Artificial para potenciar la eficacia, o bien para exacerbar las vulnerabilidades y fallas, de las armas de naturaleza nuclear, química, biológica y radiológica.
4. Actores Maliciosos y Mal Uso
Guerra y Daño Físico
La integración de la inteligencia artificial en el ámbito bélico suscita una profunda alarma y representa un riesgo considerable para la seguridad humana (Hendrycks et al., 2023). La guerra con drones autónomos se está adoptando de manera acelerada como táctica en el conflicto actual en Ucrania (Meaker, 2023), e incluso podría haber sido empleada ya contra objetivos humanos (Hambling, 2023). Asimismo, se ha documentado el uso de reconocimiento facial basado en IA para la identificación de objetivos en el caso de los palestinos en Gaza (International, 2023). Los Grandes Modelos de Lenguaje (LLMs) ya se han materializado de forma limitada en productos específicos para la planificación de la guerra (Tarantola, 2023). Es más, actualmente se están llevando a cabo investigaciones intensivas para desarrollar LLMs multimodales que puedan funcionar como el 'cerebro' de robots de propósito general (Ahn et al., 2022; 2024). Dada la naturaleza de 'propósito general' de estos avances tecnológicos, resulta altamente probable que su adaptación para crear sistemas de armamento autónomo más sofisticados sea tanto rentable como viable.
4. Actores Maliciosos y Mal Uso
Habilitación de actores maliciosos y acciones dañinas
Ciertos usos de la inteligencia artificial han suscitado una profunda preocupación, en particular la clonación de voz [58] y la generación de videos deep fake [59]. Un ejemplo destacado de su potencial impacto es el incidente de marzo de 2022, cuando, al inicio de la invasión rusa de Ucrania, hackers difundieron a través del sitio web Ukraine 24 un deep fake del presidente Volodímir Zelenski rindiéndose [60]. Es crucial notar que el software para crear estas falsificaciones es de fácil acceso en internet y requiere un hardware sorprendentemente modesto [61]. En el espectro de usos maliciosos, la IA también se emplea para acelerar el descifrado de contraseñas [62], o para permitir que individuos sin conocimientos especializados desarrollen exploits de software [63, 64] y correos electrónicos de phishing sumamente convincentes [65]. Respecto al control, mientras algunos abogan por restringir la ejecución de modelos de IA potentes en ordenadores personales, la evidencia sugiere que esta estrategia podría ser infructuosa [66]. Finalmente, la transición de sistemas conversacionales tipo ChatGPT hacia "agentes" autónomos —capaces de realizar tareas complejas con poca intervención humana, como Auto-GPT [67]— introduce una nueva y considerable capa de riesgos.
4. Actores Maliciosos y Mal Uso
Hacer la desinformación más barata y efectiva
La discusión sobre la economía de la desinformación presenta dos escenarios divergentes. Si bien una corriente argumenta que los costes laborales humanos se mantendrán inferiores para la producción de desinformación, existe una posibilidad igualmente robusta de que las herramientas de generación de contenido asistidas por Modelos de Lenguaje (LM) ofrezcan un vector de costes significativamente menor. Esto permitiría la creación de desinformación masiva, o "a escala", con una eficiencia económica sin precedentes.
4. Actores Maliciosos y Mal Uso
Hacer la desinformación más barata y efectiva
Los Modelos de Lenguaje (ML) representan un vector de riesgo al facilitar la creación de contenido sintético y 'noticias falsas', lo que podría reducir significativamente el coste de generar desinformación a gran escala (Buchanan et al., 2021). Aunque existen argumentos que sostienen que la generación de desinformación por parte de humanos seguirá siendo más económica (Tamkin et al., 2021), es fundamental considerar que la producción de contenido asistida por ML podría, de hecho, ofrecer un medio más accesible y rentable para la difusión masiva y difusa de material engañoso.
4. Actores Maliciosos y Mal Uso
Herramientas basadas en IA atacando infraestructura crítica
El daño a la infraestructura crítica puede ocurrir incluso en ausencia de una integración directa de la IA. Esto sucede, por ejemplo, cuando las herramientas basadas en inteligencia artificial se emplean de forma indirecta para catalizar acciones perjudiciales, como la orquestación de apagones coordinados mediante la manipulación masiva de usuarios.
4. Actores Maliciosos y Mal Uso
IA en regímenes totalitarios
El potencial de la vigilancia y manipulación basadas en IA para sostener y perpetuar regímenes totalitarios a escala global.
4. Actores Maliciosos y Mal Uso
IA permite el desarrollo de armas de destrucción masiva
La Inteligencia Artificial está facilitando la creación de armamento con potencial de destrucción masiva. Esto abarca no solo nuevas armas que operan con capacidades propias de IA, como las Armas Autónomas Letales (AAL), sino también su potencial para acelerar drásticamente el desarrollo de otras tecnologías intrínsecamente peligrosas, tales como los patógenos de ingeniería.
4. Actores Maliciosos y Mal Uso
IA usada para escalar la producción de información falsa y engañosa
En paralelo, se observa cómo la inteligencia artificial está siendo empleada para escalar la producción de contenido digital convincente, aunque intrínsecamente falso o engañoso, en plataformas online (por ejemplo, a través de modelos de síntesis de imagen, audio y texto como BigGAN [6] y GPT-3 [7]).
4. Actores Maliciosos y Mal Uso
IAs Persuasivas
La propagación intencionada de desinformación constituye ya una problemática seria, que erosiona nuestra comprensión colectiva de la realidad y fomenta la polarización social. Las inteligencias artificiales (IAs) tienen el potencial de agravar severamente esta situación mediante la generación de desinformación personalizada a una escala sin precedentes. Adicionalmente, conforme las IAs perfeccionen su capacidad para predecir e inducir sutilmente nuestro comportamiento (un proceso conocido como 'nudging'), su habilidad para manipularnos se incrementará notablemente.
4. Actores Maliciosos y Mal Uso
Imágenes íntimas no consensuadas (NCII)
Generación de contenido sexual explícito no autorizado mediante la manipulación de la imagen o identidad digital de una persona adulta. Este vector de riesgo se refiere específicamente a la creación de *deepfakes* pornográficos sin consentimiento, donde la inteligencia artificial se emplea para sintetizar material audiovisual convincente y difamatorio.
4. Actores Maliciosos y Mal Uso
Impacto en educación: eludir aprendizaje
La disponibilidad extendida de modelos generativos avanzados conlleva el riesgo de que los estudiantes empleen la inteligencia artificial para eludir el proceso formativo esencial y la asimilación profunda de conocimientos.
4. Actores Maliciosos y Mal Uso
Impacto en educación: plagio
La democratización y la calidad creciente de los modelos de inteligencia artificial generativa plantean un desafío directo a la integridad académica. Este riesgo se materializa en la facilidad con la que el alumnado puede utilizar estas herramientas para producir textos o contenidos que, de manera intencional o inadvertida, replican o se apropian de obras ya existentes, socavando la autenticidad y la trazabilidad del proceso de aprendizaje y evaluación.
4. Actores Maliciosos y Mal Uso
Impersonation/identity theft
Suplantación de Identidad - Se define como la apropiación ilícita de la identidad de un sujeto (ya sea un individuo, un colectivo o una entidad organizada) realizada por un tercero, con el propósito de perpetrar un fraude, ejercer burla o infligir cualquier otra forma de perjuicio o daño a la víctima.
4. Actores Maliciosos y Mal Uso
Impulso de manipulación de opinión
Los asistentes de Inteligencia Artificial IA representan un vector de riesgo significativo al poder catalizar campañas masivas de desinformación. Estos sistemas ofrecen a los actores de propaganda herramientas novedosas y encubiertas para la manipulación sofisticada de la opinión pública. El efecto directo es una distorsión crítica de la percepción colectiva, lo cual tiene el potencial de erosionar los cimientos del proceso democrático. En sus escenarios más adversos, esta dinámica podría desembocar en un aumento marcado del escepticismo institucional y en la escalada de la violencia política.
4. Actores Maliciosos y Mal Uso
Información
Influencia a gran escala sobre los sistemas que gestionan la comunicación y la información, con un impacto profundo en los procesos epistémicos; es decir, en la forma en que las sociedades determinan y asimilan el conocimiento.
4. Actores Maliciosos y Mal Uso
Ingeniería Social
Se refiere a la aplicación de mecanismos de influencia psicológica con el objetivo deliberado de coaccionar a un sujeto. El fin último es lograr que el individuo manipulado realice una serie de acciones específicas que, aunque deseadas por el atacante, están intrínsecamente ligadas a un propósito malicioso o perjudicial.
4. Actores Maliciosos y Mal Uso
Integridad de la Información
El riesgo epistémico reside en la reducción crítica de las barreras de entrada para la creación y distribución masiva de contenido. Este cambio facilita la generación de material donde se difuminan las fronteras entre lo fáctico, la opinión subjetiva y la ficción, omitiendo además el reconocimiento de la incertidumbre inherente a la información. En esencia, se crea un vector de amplificación que puede ser sistemáticamente aprovechado para la orquestación de campañas de desinformación a una escala industrial.
4. Actores Maliciosos y Mal Uso
Intención maliciosa
Una aplicación maliciosa recurrente de la Inteligencia Artificial generativa, cuyo propósito es infligir daño, humillación o sexualización forzada a un tercero, se manifiesta en la creación de *deepfakes* que representan contenido sexual explícito no consensuado (imágenes o videos)
4. Actores Maliciosos y Mal Uso
Interferencia electoral
Interferencia Electoral: Consiste en la generación de contenido falso o engañoso diseñado para desorientar o manipular al electorado y, consecuentemente, socavar la confianza en la integridad de los procesos electorales.
4. Actores Maliciosos y Mal Uso
Liberación de Agentes de IA
El riesgo reside en la capacidad humana de crear sistemas de Inteligencia Artificial con la potestad de establecer y perseguir objetivos que, intrínsecamente, podrían resultar peligrosos o perjudiciales para la humanidad.
4. Actores Maliciosos y Mal Uso
Limitaciones en precisión generativa del modelo
Los *deepfakes* generados por inteligencia artificial tienen la capacidad de producir información que es convincentemente realista, a pesar de ser enteramente ficticia y artificialmente fabricada.
4. Actores Maliciosos y Mal Uso
Mal Uso
Dentro de la taxonomía de riesgos de la inteligencia artificial, la clase de "uso indebido" se centra en el potencial de esta tecnología para amplificar amenazas ya existentes. Específicamente, abarca la capacidad de los actores de amenazas cibernéticas para automatizar y ejecutar ciberataques con una velocidad e impacto considerablemente mayores, así como para generar y distribuir desinformación de alta calidad —como el contenido *deep fake*— a un ritmo y con una efectividad acelerados.
4. Actores Maliciosos y Mal Uso
Mal Uso
El uso indebido de la Inteligencia Artificial generativa se define como cualquier aplicación deliberada que pueda desencadenar consecuencias perjudiciales, antiéticas o inapropiadas, siendo el sector educativo un campo de especial vulnerabilidad. Herramientas como ChatGPT plantean un desafío directo a la integridad académica al actuar como un sofisticado mecanismo de plagio, generando contenido de alta calidad a partir de vastos conjuntos de datos, lo que dificulta la evaluación de la originalidad del trabajo estudiantil. Además del riesgo de la desmotivación del alumnado, que puede eludir el esfuerzo en las tareas, el texto producido por la IA es considerado inadmisible. Si bien la implementación de detectores de contenido (como Turnitin) y la supervisión estricta de exámenes son medidas propuestas para mitigar estos riesgos, el principal desafío reside en la ambigüedad inherente a la hora de trazar la línea divisoria entre lo que constituye un uso apropiado y uno inapropiado de estas tecnologías.
4. Actores Maliciosos y Mal Uso
Mal uso de modelos de descubrimiento de fármacos
Existe una preocupación significativa sobre la aplicación de doble uso de los modelos de inteligencia artificial diseñados para el descubrimiento de fármacos, especialmente aquellos que predicen la afinidad entre un compuesto y su diana molecular. Estos sistemas, en lugar de identificar candidatos terapéuticos, podrían ser desviados para la identificación o el desarrollo de novo de toxinas peligrosas. Este riesgo se amplifica considerablemente cuando la base de datos de entrenamiento subyacente incluye información detallada sobre proteínas o secuencias virales con potencial patógeno.
4. Actores Maliciosos y Mal Uso
Mal uso de sistemas IA para crear armas
El riesgo aquí reside en la posible instrumentalización de los sistemas de inteligencia artificial para fines hostiles. Esto se bifurca en dos escenarios principales: primero, la asistencia en la fabricación de armas de destrucción masiva, específicamente de tipo químico, biológico, radiológico o nuclear (QBRN); y segundo, la mejora de armamento ya existente, por ejemplo, dotando de autonomía avanzada a sistemas no tripulados. Aunque los modelos actuales aún no representan una herramienta altamente eficaz para actores maliciosos en estas tareas, sí manifiestan indicadores iniciales de este potencial. La gestión de este riesgo suele involucrar el filtrado riguroso de entradas y salidas del sistema; sin embargo, esta defensa es inherentemente vulnerable a técnicas adversariales sofisticadas, como el 'jailbreaking' o la reformulación (*paraphrasing*), diseñando instrucciones que evadan las barreras de seguridad.
4. Actores Maliciosos y Mal Uso
Mal uso para vigilancia y control de población
El riesgo de la IA como vector de control social. Las herramientas de Inteligencia Artificial presentan el potencial de ser utilizadas de forma indebida por actores humanos o institucionales, sirviendo como mecanismos para la vigilancia, el control e incluso la supresión de individuos. En un contexto donde la recolección masiva de datos y el análisis automatizado son prácticas habituales, la integración de sistemas de IA puede actuar como un catalizador, exacerbando significativamente la escala y la eficacia de estas dinámicas de control.
4. Actores Maliciosos y Mal Uso
Mal uso políticamente motivado
El riesgo político inherente a los modelos de IA de propósito general se articula en la amplificación de tácticas preexistentes de desestabilización. Específicamente, estos modelos pueden sofisticar drásticamente las campañas de desinformación gracias a sus avances en la generación automatizada de texto y contenido multimedia. Esta capacidad permite refinar los esfuerzos para polarizar la opinión pública e influir en eventos políticos cruciales. Además, su potencia para el procesamiento automatizado de grandes volúmenes de texto, audio, imagen y video constituye una herramienta formidable para la vigilancia masiva, lo cual, si es mal utilizado con fines políticos, tiene el potencial de exacerbar violaciones de derechos humanos y la represión sistemática de la oposición.
4. Actores Maliciosos y Mal Uso
Mala Conducta Académica
El uso inapropiado, o el abuso deliberado, de los sistemas basados en Modelos de Lenguaje Grande (LLM) tiene el potencial de generar impactos sociales adversos relevantes, siendo uno de los ejemplos más directos la proliferación de la mala conducta académica.
4. Actores Maliciosos y Mal Uso
Malicioso e Indirecto
Un objetivo instrumental de naturaleza benigna (o aparentemente inofensiva) que, sin embargo, constituye un paso esencial para alcanzar una meta final inherentemente perjudicial o dañina
4. Actores Maliciosos y Mal Uso
Malicioso y Directo
Objetivo intrínsecamente perjudicial. Se refiere a una meta explícita o aprendida por un sistema de inteligencia artificial, cuya consecución resulta directamente en un daño o riesgo significativo.
4. Actores Maliciosos y Mal Uso
Malos usos de alto impacto más allá del propósito original
El potencial de riesgo radica en la capacidad de los sistemas de Inteligencia Artificial de propósito general (IA-PG) para ser explotados. Dado su amplio abanico de funcionalidades, si actores maliciosos (incluidos actores estatales) obtienen un acceso irrestricto o sin supervisión, podrían utilizar estas herramientas para ocasionar daños de magnitud considerable.
4. Actores Maliciosos y Mal Uso
Malos Usos Específicos del Dominio
El avance exponencial en los Grandes Modelos de Lenguaje (LLM) está intensificando la presión para su adopción en dominios de alta sensibilidad social, como la salud y la educación. No obstante, las implementaciones rudimentarias o apresuradas en estos sectores pueden resultar en daños tangibles y deben ser rigurosamente desincentivadas. Es imperativo establecer salvaguardias contra las diversas modalidades de mal uso que los LLM pueden propiciar en cualquier campo. En el ámbito sanitario, por ejemplo, se documentó el caso de una organización de salud mental que experimentó con terapias asistidas por LLM sin el debido consentimiento informado de sus usuarios. En el sector educativo, el impacto adverso sobre el proceso de aprendizaje es múltiple, abarcando desde el uso de los modelos por parte de los estudiantes como mero accesorio para hacer trampa, hasta su empleo por parte del profesorado como un sistema de evaluación de baja fidelidad. Adicionalmente, investigaciones recientes en psicología moral sugieren que los LLM son capaces de generar valoraciones éticas que el público percibe como superiores al juicio humano. Esta percepción podría ser explotada para construir guías morales altamente convincentes, pero fundamentalmente perjudiciales. Estos patrones de riesgo y mal uso son extrapolables a otros dominios operativos.
4. Actores Maliciosos y Mal Uso
Manipulación
El caso más notorio es el escándalo de Cambridge Analytica de 2016. En dicho incidente, se extrajeron datos personales de la plataforma Facebook para generar análisis detallados, cuyo objetivo era segmentar y exponer a individuos específicos a contenido político de naturaleza manipuladora. Si bien la tecnología empleada en ese momento no constituía una Inteligencia Artificial en el sentido estricto, su metodología se fundamentó en el procesamiento de grandes volúmenes de datos similar al que alimenta a la IA. Resulta evidente, por lo tanto, cómo la integración de sistemas de IA sofisticados potenciaría drásticamente la eficacia y la escala de este tipo de campañas de influencia sociopolítica.
4. Actores Maliciosos y Mal Uso
Manipulación
Cuando el protocolo de comportamiento de un sistema de inteligencia artificial es excesivamente predecible, particularmente en entornos de alto riesgo, esta característica intrínseca funciona como un aliciente para que agentes externos diseñen estrategias destinadas a la manipulación o el abuso del sistema
4. Actores Maliciosos y Mal Uso
Manipulación de Información
Las herramientas de IA generativa constituyen un vector de riesgo significativo: serán empleadas para la propagación masiva de contenido falso, engañoso, sesgado, incendiario o intrínsecamente peligroso. A medida que esta tecnología evoluciona, la generación de dicho material se torna más rápida, económica y accesible. Adicionalmente, el contenido dañino preexistente puede servir como base para escalar aún más su producción.
4. Actores Maliciosos y Mal Uso
Manipulación de Información
La Manipulación de la Información se define como la distorsión deliberada del ecosistema informativo, que abarca la propagación de desinformación, noticias falsas (*fake news*) y otras modalidades de contenido intencionalmente engañoso.
4. Actores Maliciosos y Mal Uso
Manipulación de la opinión pública
Actores maliciosos están utilizando la Inteligencia Artificial de propósito general para generar contenido sintético, como textos, imágenes o videos, con el objetivo de manipular sistemáticamente la opinión pública. La comunidad científica en seguridad de IA advierte que el éxito de tales esfuerzos podría desencadenar múltiples y graves consecuencias sistémicas.
4. Actores Maliciosos y Mal Uso
Manipulación de la Sociedad
La alteración sistemática de las interacciones y el comportamiento colectivo
4. Actores Maliciosos y Mal Uso
Manipulación económica
El empleo de la Inteligencia Artificial Generativa para diseñar e implementar campañas de desinformación altamente segmentadas, con el objetivo de manipular la percepción pública y generar beneficios económicos. Un ejemplo específico de esto es la creación artificial de un consenso que permita inflar el valor de activos financieros como las acciones
4. Actores Maliciosos y Mal Uso
Manipulación no autorizada de IA
Un riesgo latente reside en la subversión deliberada de sistemas de inteligencia artificial mediante ciberataques, lo que facilitaría su uso indebido. Un ejemplo crítico es la manipulación de sistemas automatizados de control de equipaje aeroportuario para el contrabando de armamento o materiales peligrosos.
4. Actores Maliciosos y Mal Uso
Manipulación política
Manipulación política: Consiste en la utilización o el uso indebido de datos personales para dirigir mensajes políticos altamente personalizados. El objetivo es impactar directamente en los intereses, la personalidad y las vulnerabilidades de los individuos mediante tácticas como la micro-publicidad dirigida o el empleo de medios sintéticos y deepfakes.
4. Actores Maliciosos y Mal Uso
Manipulación sistémica a gran escala
El riesgo reside en cómo los sistemas de Inteligencia Artificial, que a menudo portan sesgos sistémicos inherentes, tienen la capacidad de manipular a segmentos poblacionales amplios. Este mecanismo se vuelve especialmente potente cuando dichos sesgos resuenan y se alinean estratégicamente con las creencias o patrones de comportamiento ya existentes en el grupo objetivo. Al escalarse y emplearse de forma intencionada (o 'como arma'), esta manipulación tiene el potencial no solo de profundizar las divisiones sociales preexistentes, sino también de desencadenar perturbaciones a una escala crítica, como podría ser un apagón urbano generalizado. Esto podría lograrse, por ejemplo, mediante la manipulación estratégica de los patrones de consumo de energía para forzar una sobrecarga precisamente durante los períodos de máxima demanda. (Ref: [159])
4. Actores Maliciosos y Mal Uso
Material de abuso sexual infantil (CSAM)
The request involves content that violates safety policies regarding highly sensitive and illegal material and cannot be processed.
4. Actores Maliciosos y Mal Uso
Misuse risks
El texto seleccionado aborda un pilar fundamental en la investigación de seguridad en inteligencia artificial: el riesgo de mal uso malicioso. En términos accesibles pero con rigor académico, la capacidad de la IA de frontera se convierte en un vector de riesgo significativo al **democratizar el acceso a capacidades ofensivas**. Específicamente, se identifican tres dominios de peligro crítico:1. **Ciberataques mejorados**: La IA puede automatizar y sofisticar la búsqueda de vulnerabilidades y la ejecución de intrusiones a una escala sin precedentes. 2. **Campañas de desinformación masivas**: Facilita la generación hiperrealista de contenido (texto, audio, imagen) y su distribución dirigida, erosionando la confianza social e impactando la estabilidad geopolítica. 3. **Diseño de armas**: Proporciona herramientas avanzadas para la concepción y optimización de agentes biológicos o químicos peligrosos, un riesgo que hasta ahora estaba limitado a laboratorios con alta experiencia y recursos.El punto más alarmante es que la IA de frontera **reduce drásticamente la barrera de entrada** para los actores de amenazas menos sofisticados. Esto significa que grupos o individuos con conocimientos técnicos limitados pueden acceder a herramientas con el potencial de causar un daño catastrófico, un fenómeno que debe ser el foco de la mitigación de riesgos a nivel global.
4. Actores Maliciosos y Mal Uso
Modelos impulsados por publicidad
Los modelos y sistemas de inteligencia artificial (IA) constituyen el fundamento de las estrategias de publicidad digital que dominan la infraestructura de gran parte de internet. La preocupación reside en que esta omnipresencia tecnológica les confiere el potencial de ejercer una influencia significativa en los patrones de comportamiento y en la dinámica de la sociedad en general.
4. Actores Maliciosos y Mal Uso
Naturaleza de doble uso
El potencial ambivalente de la Inteligencia Artificial (para fines tanto constructivos como destructivos) obstaculiza significativamente la capacidad de articular estrategias efectivas para la gestión de sus repercusiones sociales
4. Actores Maliciosos y Mal Uso
Operaciones Ciberofensivas (General)
Las operaciones cibernéticas ofensivas se definen como ataques maliciosos a sistemas y redes informáticas con el objetivo de lograr acceso no autorizado, o de manipular, denegar, perturbar, degradar o destruir el sistema en cuestión, focalizándose ya sea en su red, su hardware o su software. En este contexto, los asistentes avanzados de Inteligencia Artificial (IA) representan un claro dilema ético y técnico, funcionando como un arma de doble filo en el ámbito de la ciberseguridad: su poder beneficia por igual a defensores y atacantes. Por un lado, los defensores cibernéticos capitalizan la IA para fortificar sus sistemas. Estos asistentes son entrenados con una inteligencia masiva sobre ciberamenazas, incluyendo vulnerabilidades, patrones de ataque e indicadores de compromiso, lo que les permite extraer *insights* de manera exponencialmente más rápida para identificar amenazas emergentes. Son instrumentos vitales en la respuesta a incidentes, capaces de analizar ingentes volúmenes de registros (*log files*) y tráfico de red, automatizando y acelerando el proceso de análisis que un humano tardaría horas en completar. Además, contribuyen a la seguridad del código mediante la identificación de errores comunes y la asistencia en herramientas de *fuzzing*. Por otro lado, esta misma tecnología es susceptible de ser instrumentalizada por los atacantes para escalar sus operaciones ofensivas. La IA puede automatizar completamente los ataques, identificar y explotar debilidades en los sistemas de seguridad con una eficiencia sin precedentes, y generar de forma masiva correos electrónicos de *phishing* y otros vectores de ingeniería social. El riesgo más crítico radica en su capacidad para diseñar cargas útiles (*payloads*) y fragmentos de código malicioso sofisticados que pueden compilarse rápidamente en *malware* ejecutable, acelerando la creación de herramientas ofensivas a un ritmo alarmante.
4. Actores Maliciosos y Mal Uso
Operaciones de Desinformación e Influencia
Más allá de la degradación involuntaria que la IA pueda causar en la calidad del entorno informativo (un riesgo previamente identificado), surge una amenaza crítica: el uso malicioso de la inteligencia artificial de frontera. Esta tecnología puede ser empleada intencionalmente para la diseminación masiva de desinformación, con el objetivo explícito de generar inestabilidad social, manipular la opinión pública sobre asuntos políticos clave o provocar otras formas de perjuicio o daño.
4. Actores Maliciosos y Mal Uso
Operaciones de influencia
Se refiere a la capacidad de orquestar campañas masivas de desinformación y de ejecutar una manipulación selectiva de la opinión pública, comprometiendo la integridad del debate cívico y democrático.
4. Actores Maliciosos y Mal Uso
Otros riesgos éticos
Aunque hemos analizado una serie de riesgos habituales que plantean los sistemas de Aprendizaje Automático (ML), es crucial reconocer la existencia de un espectro más amplio de riesgos éticos. Estos incluyen, por ejemplo, el preocupante potencial de ejercer manipulación psicológica, deshumanización y explotación de seres humanos a una escala masiva.
4. Actores Maliciosos y Mal Uso
Pérdida de confianza institucional
El debilitamiento de la confianza en las instituciones públicas y la fragilización de los sistemas de contrapeso democrático, impulsados por la desinformación, las operaciones de influencia y el uso indebido (real o percibido) de la inteligencia artificial generativa.
4. Actores Maliciosos y Mal Uso
Pérdida de PI / derechos de autor / personalidad
El uso indebido de activos intangibles, lo que abarca la explotación no autorizada de la propiedad intelectual (derechos de autor, patentes, marcas registradas) de una persona u organización. Esto se extiende a la violación del derecho de imagen: la pérdida de la capacidad de un individuo para controlar la explotación comercial de su identidad, ya sea su nombre, voz, imagen, semejanza o cualquier otro identificador personal inequívoco
4. Actores Maliciosos y Mal Uso
Pérdida de PI/derechos de autor
Pérdida de Propiedad Intelectual y Derechos de Autor (IP/Copyright Loss) Se define como la apropiación, el uso indebido o el abuso de los activos intangibles de una persona u organización, lo cual incluye sus derechos exclusivos sobre patentes, marcas registradas y obras protegidas por derechos de autor. Este riesgo implica la erosión del valor y la ventaja competitiva derivados de las creaciones del intelecto.
4. Actores Maliciosos y Mal Uso
Persuasión y manipulación
El propósito de estas evaluaciones radica en determinar la capacidad de los Modelos de Lenguaje Grande (LLM) para ejercer una influencia profunda. Específicamente, buscan medir su eficacia en la modificación de las creencias de las personas, la propagación de narrativas o puntos de vista específicos, y su habilidad para persuadir a individuos a realizar acciones que, en condiciones normales, evitarían.
4. Actores Maliciosos y Mal Uso
Político
El referéndum del Brexit en el Reino Unido evidenció una forma incipiente de propaganda computacional. De cara al futuro, existe una seria preocupación en el campo de la seguridad de la IA: que los gobiernos autoritarios exploten la inteligencia artificial para modelar de manera sofisticada y a gran escala la opinión de sus ciudadanos.
4. Actores Maliciosos y Mal Uso
Político y Económico
Riesgo Político y Económico: Este concepto se refiere al conjunto de amenazas que socavan la gobernanza y la cohesión social. Específicamente, engloba la manipulación a escala de las convicciones políticas de la ciudadanía, el daño estructural a las instituciones democráticas y, consecuentemente, el menoscabo en la capacidad del Estado para la prestación efectiva de servicios públicos esenciales.
4. Actores Maliciosos y Mal Uso
Privacidad
Aunque modelos como GPT-3 de OpenAI fueron diseñados para dificultar la extracción de información personal sensible, como las fechas de nacimiento de figuras públicas, el uso malicioso de la IA sigue erosionando la privacidad. Ejemplos claros de esta intrusión incluyen el sistema automatizado de vigilancia chino "Sharp Eye" [551] y los ciberataques automatizados dirigidos a datos personales [354]. No obstante, una forma aún más drástica y preocupante de vigilancia asistida por IA podría estar emergiendo: la decodificación no quirúrgica del pensamiento [54], una técnica de potencial impacto profundo que, según se informa, ya está siendo empleada por algunas fuerzas policiales [398]
4. Actores Maliciosos y Mal Uso
Privacidad y consentimiento
Aun cuando la víctima de un perjuicio dirigido y generado por IA consiga identificar al creador malicioso de un deepfake, la reparación del daño resulta compleja. Esto se debe a que la imagen o video generado no es una representación directa de la víctima, sino una composición ficticia y verosímil creada a partir de elementos procedentes de múltiples fuentes. En su núcleo, estas creaciones de IA eluden los conceptos tradicionales de privacidad y consentimiento: al basarse en imágenes y videos de dominio público, como los publicados en redes sociales, su creación no suele depender de información de carácter privado
4. Actores Maliciosos y Mal Uso
Privacidad y seguridad
La privacidad y la seguridad se centran en la protección del derecho fundamental a la privacidad y en la implementación de las salvaguardias necesarias para resguardar los datos individuales de un acceso externo no autorizado. Un punto crítico en este ámbito es la creciente utilización de tecnologías de inteligencia artificial por parte de diversas organizaciones para la recolección de datos, un proceso que frecuentemente se ejecuta sin la notificación o el consentimiento explícito de los ciudadanos implicados.
4. Actores Maliciosos y Mal Uso
Propaganda
Los Modelos de Lenguaje Grande (LLM) representan un vector de riesgo donde agentes malintencionados los explotan para la generación proactiva de contenido propagandístico. Esta capacidad artificial acelera significativamente la difusión de narrativas dirigidas, constituyendo una amenaza directa a la seguridad informacional.
4. Actores Maliciosos y Mal Uso
Propaganda - Suplantaciones digitales
Se ha determinado que la suplantación de identidad mediada por la inteligencia artificial, particularmente aquella dirigida al robo de datos personales o financieros, se ubica en el punto de convergencia conceptual de dos categorías primarias de riesgo: el «Perjuicio a la Persona» (como daño directo o financiero) y el vector del «Engaño» o la manipulación.
4. Actores Maliciosos y Mal Uso
Publicidad altamente personalizada impulsada por IA
Los sistemas avanzados de IA de Propósito General (GPAI) son capaces de generar anuncios publicitarios diseñados a medida para cada persona, explotando sus sesgos cognitivos y creencias irracionales específicas. Esta hiperpersonalización puede inducir a los consumidores a tomar decisiones de las que podrían arrepentirse posteriormente o que lamentarían tras una reflexión más profunda. Ya se ha comprobado que las versiones actuales de publicidad en video personalizada ofrecen mejores resultados que los anuncios regulares [110]. No obstante, la implementación generalizada de publicidad tan personalizada suscita una grave preocupación: que socave la autonomía de decisión del consumidor y que, en última instancia, exacerbe la desigualdad social.
4. Actores Maliciosos y Mal Uso
QBRN (Químico, Biológico, Radiológico, Nuclear)
El riesgo se materializa en la facilitación del acceso a la información o la capacidad de síntesis para el diseño y la producción de armamento químico, biológico, radiológico o nuclear (QBRN), así como de otros agentes o materiales de alto riesgo.
4. Actores Maliciosos y Mal Uso
QBRN (Químico, Biológico, Radiológico, Nuclear)
Los riesgos Químicos, Biológicos, Radiológicos y Nucleares (CBRN) representan un espectro de amenazas con un potencial catastrófico a gran escala, a menudo expandido para incluir Explosivos (CBRNE). Desde la perspectiva de la seguridad en la IA, su característica definitoria reside en cómo el *mal uso* de modelos de inteligencia artificial altamente capaces funciona como un amplificador crucial. Este apoyo tecnológico ofrece a actores maliciosos una vía directa y optimizada para ejecutar ataques de gran impacto, permitiéndoles actuar con una eficiencia y una efectividad significativamente superiores a las que serían posibles por otros medios. Es, en esencia, la aceleración de la capacidad de infligir daño masivo mediante herramientas avanzadas de IA.
4. Actores Maliciosos y Mal Uso
Real-world risks (Risks of misuse of dual-use items and technologies)
El uso indebido o malintencionado de la Inteligencia Artificial (IA) representa amenazas graves para la seguridad nacional, económica y de la salud pública. Dos ejemplos prominentes ilustran este peligro: en primer lugar, la IA puede reducir drásticamente las barreras de capacidad necesarias para que no expertos diseñen, sinteticen, adquieran y utilicen armas nucleares, biológicas, químicas y misiles. En segundo lugar, permite el desarrollo de armas cibernéticas capaces de lanzar ataques de amplio espectro contra múltiples objetivos, facilitado por métodos como la detección y explotación automatizada de vulnerabilidades.
4. Actores Maliciosos y Mal Uso
Real-world risks (Risks of using AI in illegal and criminal activities)
La Inteligencia Artificial (IA) presenta un riesgo significativo de ser instrumentalizada para amplificar o facilitar actividades criminales tradicionales ya establecidas. Este fenómeno abarca la potenciación de ilícitos vinculados al terrorismo, la violencia, el juego ilegal o el narcotráfico. El peligro radica en la capacidad de la IA para el adiestramiento en metodologías delictivas, la asistencia en la ocultación de actos ilegales, o el desarrollo de herramientas tecnológicas especializadas para optimizar la ejecución de dichos crímenes.
4. Actores Maliciosos y Mal Uso
Resistencia al Mal Uso
El foco de esta área reside en la robustez de los sistemas de inteligencia artificial frente a la explotación maliciosa. Su objetivo primordial es establecer barreras que impidan que actores con intenciones dañinas utilicen la tecnología para generar perjuicios significativos o escalar amenazas ya existentes.
4. Actores Maliciosos y Mal Uso
Riesgo de Seguridad de Datos
Así como diversos individuos y organizaciones han explorado las posibles aplicaciones de los productos de IA generativa, los actores maliciosos no son la excepción. Esto puede manifestarse como la facilitación o la escalabilidad de métodos de amenaza ya existentes, por ejemplo, la redacción automatizada de código malicioso (malware), los intentos de compromiso de correo electrónico empresarial (Business Email Compromise o BEC) y las campañas de phishing. También podría adoptar la forma de nuevos tipos de vectores de amenaza. Entre ellos se incluye la extracción de información delicada del conjunto de datos del modelo de aprendizaje de la IA, o la técnica de "envenenamiento" del conjunto de datos de entrenamiento al inyectar información estratégicamente errónea. Además, debemos anticipar la aparición de nuevos vectores de ataque que aún no hemos siquiera concebido, pero que serán posibles o mucho más accesibles gracias a la IA generativa.
4. Actores Maliciosos y Mal Uso
Riesgos Biológicos
Los riesgos biológicos abarcan la modificación peligrosa de patógenos y la manipulación no ética de material genético, lo que podría desencadenar consecuencias biopeligrosas e imprevistas.
4. Actores Maliciosos y Mal Uso
Riesgos Biológicos y Químicos
La naturaleza de "doble uso" de la inteligencia artificial (IA) representa un riesgo de seguridad crítico. La IA tiene el potencial de reducir drásticamente las barreras técnicas, permitiendo que actores no estatales maliciosos puedan diseñar, sintetizar, adquirir o desplegar armas CBRNE (químicas, biológicas, radiológicas, nucleares y explosivas) con mayor facilidad. Esta nueva capacidad no solo desafía de manera inédita la seguridad nacional, sino que también ejerce una presión extrema sobre los regímenes internacionales de no proliferación y la gobernanza global de la seguridad.
4. Actores Maliciosos y Mal Uso
Riesgos cognitivos (Uso en guerra cognitiva)
El uso indebido de la inteligencia artificial plantea un riesgo multidimensional que abarca desde la generación y diseminación masiva de contenido sintético fraudulento y desinformación, hasta la propagación de narrativas de terrorismo, extremismo y crimen organizado. A nivel geopolítico, esta tecnología facilita la injerencia en los asuntos internos de otras naciones, lo cual amenaza la estabilidad del orden social y compromete la soberanía de los estados.
4. Actores Maliciosos y Mal Uso
Riesgos de Ciberofensiva
La ciberofensa potenciada por la Inteligencia Artificial (IA) representa una amenaza de seguridad cibernética fundamental, ya que redefine drásticamente la escala, la sofisticación y la accesibilidad de los ataques. A diferencia de las amenazas convencionales, la IA no solo automatiza los vectores de ataque conocidos, sino que también facilita la emergencia de nuevas capacidades ofensivas capaces de adaptarse y evolucionar en tiempo real. Específicamente, la IA puede optimizar y automatizar procesos como el descubrimiento y explotación de vulnerabilidades, la generación de código malicioso o el diseño de campañas de phishing de alta sofisticación e ingeniería social. Este fenómeno reduce significativamente el umbral de entrada para los atacantes, mientras que la complejidad de los mecanismos de defensa se incrementa exponencialmente. Las consecuencias de este uso malicioso incluyen la potencial paralización de infraestructuras críticas, filtraciones masivas de datos y cuantiosas pérdidas económicas.
4. Actores Maliciosos y Mal Uso
Riesgos de ciencia de doble uso
Los sistemas de Inteligencia Artificial (IA) de propósito general están llamados a acelerar una amplia gama de esfuerzos científicos, optimizando procesos desde la formación de nuevos investigadores hasta la ejecución de flujos de trabajo más rápidos. No obstante, a pesar de sus vastas aplicaciones beneficiosas, existe una preocupación fundada entre la comunidad experta respecto a su potencial uso malicioso, un riesgo que se exacerba si las nuevas capacidades se desarrollan sin las contramedidas de seguridad apropiadas. Específicamente en el contexto de las ciencias biológicas, la IA podría facilitar acciones perjudiciales a través de dos mecanismos: Primero, al democratizar y aumentar el acceso a información y conocimiento técnico sensible que es relevante para la creación de amenazas. Segundo, al elevar el límite superior de lo que es posible tecnológicamente, lo que no solo permitiría el diseño de versiones más potentes de amenazas existentes, sino que también podría catalizar la aparición de riesgos biológicos completamente inéditos (404, 405).
4. Actores Maliciosos y Mal Uso
Riesgos de Daño Físico y Lesiones
La integración de modelos de Inteligencia Artificial de propósito general en sistemas corporizados –es decir, aquellos con presencia física y capacidad de interacción en el mundo real– introduce una amenaza física directa. Este riesgo se materializa a través de la explotación maliciosa de sus capacidades de toma de decisiones autónomas. En esencia, la manipulación intencionada de la autonomía de estos sistemas con capacidad de acción puede desencadenar una serie de consecuencias graves y con impacto directo en el entorno físico.
4. Actores Maliciosos y Mal Uso
Riesgos de Mal Uso
No obstante, incluso si un modelo de IA es completamente fiable y digno de confianza, persisten los denominados Riesgos de Mal Uso o Riesgos Sistémicos. Los modelos de inteligencia artificial de propósito general pueden representar riesgos significativos para la sociedad si esta tecnología es empleada indebidamente por actores maliciosos con el fin de generar consecuencias perjudiciales. Específicamente, estos Riesgos de Mal Uso abarcan tres esferas críticas: el Ciberdelito, las Amenazas a la Bioseguridad y el Mal Uso con Motivación Política.
4. Actores Maliciosos y Mal Uso
Riesgos de Mal Uso
Riesgos de Explotación Intencional de la IA. Este concepto aborda los peligros que emergen cuando actores maliciosos hacen uso deliberado y estratégico de las capacidades de los modelos de inteligencia artificial con el fin de generar un daño significativo. Dicho perjuicio puede manifestarse en múltiples niveles: individual, afectando a personas; organizacional, comprometiendo entidades e instituciones; o sistémico, impactando negativamente a la sociedad en su totalidad.
4. Actores Maliciosos y Mal Uso
Riesgos de Persuasión y Manipulación a Gran Escala
La grave malversación de los sistemas de Inteligencia Artificial reside en su capacidad para generar una distorsión cognitiva colectiva y socavar la estabilidad social. Esto se logra a través de dos mecanismos principales: la producción de contenido sintético ultrarrealista (como los deepfakes o las noticias falsas avanzadas); y la manipulación estratégica de plataformas digitales masivas para diseminar o segmentar con precisión información engañosa o ideologías.
4. Actores Maliciosos y Mal Uso
Riesgos de Uso Malicioso
Dado que la IA de propósito general abarca un amplio espectro de áreas de conocimiento, puede ser desviada para fines maliciosos, lo que podría causar daños a gran escala. En esta sección se analizan algunos de los riesgos principales de este uso indebido, aunque es fundamental reconocer que existen otros, y nuevas amenazas podrían seguir emergiendo. Si bien la solidez de la evidencia que respalda los riesgos aquí discutidos es muy variada —e incluso hay indicios de que algunos podrían no constituir riesgos serios en la actualidad—, los incluimos para ofrecer una visión panorámica y exhaustiva de los riesgos de uso malicioso asociados a los sistemas de IA de propósito general.
4. Actores Maliciosos y Mal Uso
Riesgos del ciberespacio (Abuso para ciberataques)
La Inteligencia Artificial puede emplearse para automatizar la ejecución de ciberataques o para aumentar significativamente su eficiencia. Este proceso incluye la exploración y explotación de vulnerabilidades, el descifrado automatizado de contraseñas, la generación de código malicioso, el envío masivo de correos de suplantación de identidad (phishing), el escaneo avanzado de redes y la optimización de ataques de ingeniería social. En esencia, estas capacidades reducen drásticamente el umbral de acceso para los ciberdelincuentes e incrementan, de forma paralela, la complejidad de las tareas de defensa y ciberseguridad.
4. Actores Maliciosos y Mal Uso
Riesgos Informacionales y Comunicacionales de la IA
Los riesgos informacionales y comunicacionales de la Inteligencia Artificial (IA) se refieren particularmente a la manipulación de la información ejercida mediante sistemas algorítmicos que influyen directamente en la provisión o distribución de contenidos. Esto abarca fenómenos como la desinformación basada en IA, la propaganda computacional y la censura selectiva o dirigida, implementada a través de la modificación de algoritmos. En esencia, estas dinámicas restringen y comprometen la libre expresión y el acceso equitativo a la información (Rahwan, 2018; Wirtz & Müller, 2019).
4. Actores Maliciosos y Mal Uso
Riesgos Químicos
Los riesgos químicos, en el contexto de la seguridad de sistemas avanzados, se definen como la posibilidad de una explotación intencionada de diversos agentes para la síntesis de armamento químico. De igual forma, engloban la creación o la liberación no intencionada de sustancias peligrosas que pueden ocurrir durante la ejecución de experimentos químicos autónomos. Un tercer componente crítico de estos riesgos es el manejo y las implicaciones de materiales de frontera, específicamente los nanomateriales, cuyas propiedades químicas, al ser desconocidas o inherentemente impredecibles, presentan un vector de riesgo significativo y de difícil mitigación.
4. Actores Maliciosos y Mal Uso
Risk area 4: Malicious Uses
Estos riesgos se originan en el uso intencional de los modelos de lenguaje (LM) por parte de individuos con el objetivo explícito de generar un perjuicio. Esto incluye, por ejemplo, su aplicación en la orquestación de campañas de desinformación dirigidas, la facilitación de fraudes a gran escala o la generación autónoma de software malicioso (malware). Es crucial entender que la amenaza del uso malicioso se espera que se expanda exponencialmente a medida que estas herramientas de IA se democratizan y se vuelven de acceso generalizado.
4. Actores Maliciosos y Mal Uso
Seguridad (Security)
Si bien los modelos conversacionales de IA aún no poseen la capacidad de generar *malware* totalmente inédito de forma autónoma, es inminente la posibilidad de que los atacantes cibernéticos aprovechen las competencias de codificación de los Modelos de Lenguaje de Gran Escala (LLMs), como ChatGPT. Esta automatización permite la creación de *software* malicioso altamente sofisticado y de ajuste minucioso, lo cual tiene el efecto de "democratizar" la amenaza, transformando a actores con menor pericia técnica en vectores de riesgo de seguridad significativos.
4. Actores Maliciosos y Mal Uso
Seguridad (Security)
Las implicaciones de la integración de la Inteligencia Artificial con fines bélicos para la defensa. El despliegue sistémico de capacidades basadas en IA a través de los dominios terrestre, aéreo, naval y espacial plantea una alteración potencial en la doctrina y ejecución de las operaciones militares conjuntas.
4. Actores Maliciosos y Mal Uso
Seguridad de la Información
Este riesgo describe cómo las capacidades avanzadas de la Inteligencia Artificial pueden reducir drásticamente las barreras de entrada para la ciberdelincuencia, facilitando las operaciones cibernéticas ofensivas. Esto se logra, principalmente, mediante la *detección y explotación automatizada de vulnerabilidades* en sistemas, lo que agiliza la creación de *hacking*, *malware* o *phishing*. El segundo componente es el *aumento de la superficie de ataque* para ataques dirigidos, con la consecuencia crítica de poder comprometer la *disponibilidad* del sistema, o la *confidencialidad* y la *integridad* de sus componentes esenciales, como los datos de entrenamiento, el código fuente o los propios pesos del modelo.
4. Actores Maliciosos y Mal Uso
Seguridad y Defensa
La IA podría propiciar incidentes de mayor gravedad al reducir significativamente el coste de diseñar ciberataques y al permitir una focalización más precisa de los mismos. El mismo error de programación o ataque malicioso podría replicarse de forma masiva en numerosas máquinas. Alternativamente, una única máquina podría reiterar la misma actividad errónea múltiples veces, lo que resultaría en una acumulación de pérdidas no anticipada, un fenómeno que subraya el riesgo de acumulación sistémica.
4. Actores Maliciosos y Mal Uso
Semejanza Apropiada
Manipulación de la Identidad Digital: Empleo o alteración sintética de la imagen, voz u otros rasgos distintivos que permitan identificar a un individuo.
4. Actores Maliciosos y Mal Uso
Sexualización
La generación, manipulación o difusión de contenido de naturaleza sexual que involucra a un individuo o colectivo, realizada mediante el uso de tecnologías o aplicaciones y sin su consentimiento expreso.
4. Actores Maliciosos y Mal Uso
Sistemas de Armas Autónomas Letales (LAWS)
Los Sistemas de Armas Autónomas Letales (LAWS) constituyen una categoría singular de armamento que utiliza avanzados conjuntos de sensores y algoritmos informáticos para detectar y ejecutar un ataque contra un objetivo sin requerir una intervención humana directa en la fase operativa del sistema.
4. Actores Maliciosos y Mal Uso
Sociotécnico e Infraestructural
El concepto de “Daño Social, Sociotécnico e Infraestructural” engloba las repercusiones sistémicas más amplias de la IA. Se trata de aquellos perjuicios que afectan a gran escala a las comunidades, a las estructuras sociales fundamentales y a las infraestructuras críticas. Esto incluye, de manera crucial, las amenazas a los procesos democráticos, la cohesión social y la integridad de los sistemas tecnológicos esenciales.
4. Actores Maliciosos y Mal Uso
Sockpuppeting (Títeres)
Creación de identidades o perfiles virtuales sintéticos.
4. Actores Maliciosos y Mal Uso
Spear-Phishing impulsado por IA a escala
El 'phishing' se define como un ataque de ciberseguridad en el cual actores maliciosos suplantan la identidad de entidades legítimas y confiables con el fin de extraer información sensible o inducir a la víctima a realizar acciones específicas. Los sistemas avanzados de Inteligencia Artificial (IA) introducen un nuevo y preocupante vector de riesgo: su capacidad de ser explotados para aumentar significativamente la efectividad y reducir la detectabilidad de estos intentos de fraude. En particular, los atacantes pueden aprovechar la habilidad de los asistentes de IA para analizar y replicar patrones de comunicación habituales, logrando así generar correos electrónicos de 'phishing' altamente convincentes y personalizados. Esta técnica de ataque dirigida, conocida como 'spear phishing', es particularmente potente debido a su nivel de adaptación individual. La eficacia de estos ciberataques se cimenta en la explotación de principios psicológicos fundamentales, principalmente la generación de urgencia y miedo, lo cual manipula a las víctimas para que reaccionen de manera precipitada e irreflexiva. La alta fidelidad con la que los sistemas de IA pueden adoptar estilos de comunicación específicos amplifica exponencialmente el carácter engañoso del 'phishing'. Al poder generar mensajes a medida y a escala que invocan un sentimiento de pánico o necesidad inmediata, el 'phishing' asistido por IA incrementa la probabilidad de que el destinatario actúe impulsivamente, elevando la tasa de éxito del ataque.
4. Actores Maliciosos y Mal Uso
Suplantación
La suplantación de la identidad de una persona real para ejecutar acciones o tomar decisiones en su representación.
4. Actores Maliciosos y Mal Uso
Suplantación / robo de identidad
El robo de identidad consiste en la apropiación ilícita o suplantación de la identidad—física o digital—de una entidad, sea esta un individuo, un grupo o una organización. Esta acción es perpetrada por un tercero con el propósito fundamental de cometer fraude, realizar actos de escarnio (burla) o causar algún tipo de perjuicio directo tanto a la entidad suplantada como a cualquier otra parte involucrada
4. Actores Maliciosos y Mal Uso
Suplantación asistida por GPAI
Los productos de la IA de Propósito General (GPAI) no siempre se detectan con precisión como generados artificialmente en diversas modalidades (texto, imágenes, audio y video) Esto abre un vector de ataque crítico un actor malicioso puede usar las creaciones de GPAI directamente para suplantar identidades de forma convincente o para generar detalles que refuercen una falsificación compleja (como la forja de documentos de soporte) El riesgo persiste aún si las futuras contramedidas de detección resultan potentes ya que su efectividad se anula si no son de conocimiento público o si el acceso a dichas herramientas es limitado
4. Actores Maliciosos y Mal Uso
Targeting y Personalización
Perfeccionar la generación de resultados con el fin de orquestar intervenciones maliciosas y altamente personalizadas, dirigidas a individuos concretos.
4. Actores Maliciosos y Mal Uso
Tecnología Deepfake
La amenaza que define este concepto es la **generación de medios sintéticos** o *deepfakes* mediante Inteligencia Artificial. Se refiere al empleo de algoritmos avanzados para sintetizar contenido audiovisual—imágenes, vídeos y audios—con un realismo prácticamente indistinguible del material auténtico. El impacto crucial de esta capacidad radica en su potencial para socavar la confianza en la veracidad de la información digital, permitiendo la creación de narrativas falsas y la suplantación de identidad a gran escala.
4. Actores Maliciosos y Mal Uso
Tecnologías Biológicas y Químicas Peligrosas
Sistemas de Inteligencia Artificial avanzados, tales como los Grandes Modelos de Lenguaje (LLMs) y sus versiones especializadas para química y biología, han generado preocupación debido a su potencial para facilitar la creación de armas biológicas, armas químicas y otras tecnologías consideradas peligrosas. El riesgo tiene una doble vertiente: por un lado, los LLMs podrían "democratizar" el acceso a la síntesis de patógenos, permitiendo que individuos con poca experiencia logren avances. De hecho, estudios iniciales (Gopal et al., Soice et al.) demostraron que personas con formación limitada podían utilizarlos para progresar en el desarrollo de amenazas como la cepa de la gripe pandémica de 1918. Por otro lado, herramientas de diseño biológico y químico personalizadas podrían aumentar la capacidad y sofisticación de actores estatales o entidades ya altamente capacitadas. Sin embargo, es crucial notar que investigaciones más recientes (Mouton et al., Patwardhan et al.) han matizado estas alertas, sugiriendo que las capacidades actuales de los LLMs en este contexto no superan la información ya accesible mediante una búsqueda estándar en internet.
4. Actores Maliciosos y Mal Uso
Tipo 5: Armamentización criminal
El riesgo aquí radica en la posible instrumentalización de la Inteligencia Artificial por parte de actores o agentes criminales Estos podrían desarrollar sistemas de IA con el propósito deliberado de causar perjuicios, abarcando desde la facilitación de actos terroristas hasta la creación de herramientas avanzadas para evadir o subvertir las operaciones de las fuerzas de seguridad y el cumplimiento de la ley
4. Actores Maliciosos y Mal Uso
Tipo 6: Armamentización estatal
La implementación de sistemas de inteligencia artificial por parte de entidades estatales, particularmente en escenarios de conflicto armado, guerra civil o seguridad pública, representa un vector de riesgo crítico con el potencial de catalizar perjuicios masivos y sistémicos que afecten la estabilidad del tejido social
4. Actores Maliciosos y Mal Uso
Trampa / plagio
La utilización de herramientas de inteligencia artificial generativa en contextos académicos con el propósito de cometer fraude en la evaluación o incurrir en plagio.
4. Actores Maliciosos y Mal Uso
Uso de IA Generativa en campañas de influencia política
Las herramientas de Inteligencia Artificial de Propósito General (IAPG) poseen la capacidad de automatizar y expandir masivamente las campañas de influencia. Este mecanismo facilita la manipulación de la opinión pública mediante la difusión dirigida de información intencionadamente engañosa o sesgada. La consecuencia social de este fenómeno es doble: un aumento significativo en la polarización política de la población y una subsiguiente y peligrosa disminución de la confianza en el conjunto de las instituciones públicas.
4. Actores Maliciosos y Mal Uso
Uso generalizado de herramientas de persuasión
La adopción masiva de herramientas de inteligencia artificial con capacidad persuasiva supone un vector de riesgo que podría desencadenar efectos perjudiciales a escala sistémica
4. Actores Maliciosos y Mal Uso
Uso Malicioso
El uso malicioso de los sistemas de IA se manifiesta en la reducción de costos y la simplificación de procesos para actores con intenciones nocivas. Esto facilita la ejecución de actividades perjudiciales a gran escala, como el fraude económico o la producción y accesibilidad de armamento. En esencia, la inteligencia artificial actúa como un multiplicador de fuerza para la amenaza.
4. Actores Maliciosos y Mal Uso
Uso Malicioso (Intencional)
Facilitar a actores maliciosos la capacidad de infligir daño masivo o sistémico.
4. Actores Maliciosos y Mal Uso
Uso Malicioso de IA
El uso malicioso de la inteligencia artificial representa una amenaza potencial para la seguridad en sus dimensiones digital, física y política. A nivel global, las agencias de aplicación de la ley se enfrentan a una compleja gama de riesgos derivados de la utilización perversa de la IA.
4. Actores Maliciosos y Mal Uso
Uso malicioso de la IA
La naturaleza dual de la inteligencia artificial (IA) implica que, además de sus múltiples usos constructivos, también puede potenciar la ciberdelincuencia. Actualmente, el desarrollo de malware y ataques informáticos asistidos por IA ya constituye una realidad palpable.
4. Actores Maliciosos y Mal Uso
Uso malicioso y abuso (amenazas de bioseguridad)
Existe una preocupación significativa de que la inteligencia artificial generativa pueda reducir la barrera de entrada para la proliferación de armas biológicas. Esto se lograría al democratizar el acceso a conocimiento esencial y a herramientas de asistencia automatizada, permitiendo que un rango más amplio de actores maliciosos ejecuten actividades de alto riesgo.
4. Actores Maliciosos y Mal Uso
Uso malicioso y abuso (aplicaciones militares)
La rápida evolución de la Inteligencia Artificial con propósitos militares está catalizando una nueva era en la tecnología bélica. Un ejemplo central de esto son los Sistemas de Armas Autónomas Letales (LAWS), que poseen la capacidad de seleccionar, atacar y eliminar objetivos humanos de forma completamente independiente, es decir, sin que un operador humano tome la decisión final. La superioridad de la IA en el combate ya no es hipotética. En un hito de 2020, un agente de IA avanzado no solo desafió a pilotos humanos experimentados de F-16 en simulaciones de combate aéreo, sino que los superó con una victoria de 5-0, empleando "maniobras agresivas y precisas" que estaban fuera de las capacidades de respuesta del piloto. De hecho, los drones de combate totalmente autónomos ya forman parte del arsenal operativo actual.
4. Actores Maliciosos y Mal Uso
Uso malicioso y abuso (ciberataques)
La Inteligencia Artificial Generativa (IAG) tiene el potencial de amplificar significativamente tanto la frecuencia como la capacidad destructiva de los ciberataques. Esta tecnología puede incrementar drásticamente la accesibilidad, la tasa de éxito, la escala, la velocidad, la discreción y la potencia de las ofensivas informáticas. Esto se debe a que facilita la identificación de vulnerabilidades críticas en los sistemas objetivo, permite una escalada masiva de las operaciones y acelera el descubrimiento de métodos de infiltración novedosos y más sofisticados. Como resultado, los ciberataques resultantes pueden infligir daños considerables, llegando a impactar infraestructuras críticas vitales, como las redes de suministro eléctrico, los sistemas financieros globales o los sistemas de gestión de armamento.
4. Actores Maliciosos y Mal Uso
Uso malicioso y abuso (cibercrimen)
Las capacidades avanzadas y la disponibilidad masiva de los modelos de IA generativa permiten a actores maliciosos llevar a cabo actividades perjudiciales con una eficiencia y una escala sin precedentes, lo que reduce drásticamente sus costes operativos. Específicamente, los ciberdelincuentes tienen la capacidad de eludir las salvaguardias o realizar un "jailbreak" a las herramientas de IA para generar contenido sensible y nocivo. De forma complementaria, estos modelos pueden ser explotados para la creación de material altamente persuasivo y personalizado, diseñado de manera estratégica para manipular a un individuo o a una audiencia masiva.
4. Actores Maliciosos y Mal Uso
Uso malicioso y abuso (generación de contenido sexual explícito)
Un ejemplo paradigmático del uso malicioso de la inteligencia artificial generativa es la producción de contenido sexual explícito sintético. Estas tecnologías permiten la creación de deepfakes, que consisten, por ejemplo, en superponer el rostro de una figura pública sobre el cuerpo de un intérprete en una producción de contenido para adultos.
4. Actores Maliciosos y Mal Uso
Uso malicioso y abuso (vigilancia masiva)
La Inteligencia Artificial Generativa (IAG) potencia la automatización del análisis de datos, lo que se traduce en importantes ventajas, como un aumento significativo en la velocidad de procesamiento y la capacidad de gestionar eficientemente volúmenes masivos de información. Esta funcionalidad reduce drásticamente los costes asociados al tratamiento rápido de cantidades de datos sin precedentes y simplifica el análisis de macrodatos sobre las creencias y los comportamientos individuales. Adicionalmente, la IAG optimiza el análisis eficiente de comunicaciones tanto textuales como visuales. Por lo tanto, los modelos generativos incrementan la eficiencia en la monitorización y la censura en tiempo real del contenido difundido en plataformas de redes sociales.
4. Actores Maliciosos y Mal Uso
Uso Malicioso y Liberación de Agentes de IA
Debido a sus notables capacidades, los Modelos de Lenguaje (ML) conllevan el mismo potencial de uso malicioso que otros productos tecnológicos avanzados. Un ejemplo claro es su posible utilización en la guerra de información para generar contenido engañoso o ilícito, lo que podría tener un impacto significativo en el individuo y la estructura social. A medida que los ML se configuran cada vez más como agentes diseñados para alcanzar objetivos de usuario, existe el riesgo de que ignoren las directrices éticas y de seguridad si operan sin una supervisión adecuada. En lugar de evaluar el impacto potencial, podrían ejecutar los comandos de usuario de forma mecánica. Esta dinámica incrementa la posibilidad de interacciones impredecibles con humanos y otros sistemas, particularmente cuando se despliegan en entornos operativos abiertos
4. Actores Maliciosos y Mal Uso
Uso no consensuado
Los sistemas de Inteligencia Artificial Generativa pueden ser empleados de forma deliberada para suplantar la identidad de individuos a través de la creación de "deepfakes", utilizando diversas modalidades de datos, como material audiovisual, imágenes o audio, sin el consentimiento explícito de las personas afectadas.
4. Actores Maliciosos y Mal Uso
Uso peligroso
El riesgo reside en la posibilidad de que los modelos de inteligencia artificial generativa sean empleados con la intención explícita y exclusiva de causar perjuicio o daño a terceros
4. Actores Maliciosos y Mal Uso
Usos Inútiles
El empleo inadecuado o malintencionado de los Modelos de Lenguaje de Gran Escala (LLM) conlleva el riesgo de generar repercusiones sociales adversas de gran calado.
4. Actores Maliciosos y Mal Uso
Usos Maliciosos
Perjuicios derivados de la utilización deliberada de modelos de lenguaje por parte de actores externos con la intención explícita de generar consecuencias negativas
4. Actores Maliciosos y Mal Uso
Usos Maliciosos
A medida que los asistentes de inteligencia artificial se vuelven más versátiles, sofisticados y capaces, generan nuevas oportunidades en campos cruciales como la educación, la ciencia y la atención sanitaria. Sin embargo, la vertiginosa velocidad de este progreso ha dificultado la preparación adecuada, e incluso la comprensión profunda, de cómo esta tecnología podría ser potencialmente mal utilizada. De hecho, los asistentes de IA avanzados tienen el potencial de transformar amenazas ya existentes o, en el peor de los casos, generar categorías de riesgos completamente nuevas.
4. Actores Maliciosos y Mal Uso
Vigilancia Autoritaria, Censura y Uso (General)
Si bien las nuevas tecnologías, como los asistentes de IA avanzada, pueden optimizar la producción y difusión de información crucial para la toma de decisiones, también representan una amenaza significativa. Sin las mitigaciones adecuadas, estas herramientas pueden exacerbar los riesgos para la fiabilidad de la información y convertirse en instrumentos para la opresión y el control. La creciente sofisticación de la IA de propósito general, sumada a nuestra ubicua dependencia digital, incrementa la vulnerabilidad ante la vigilancia y la censura autoritaria. Paralelamente, la vasta cantidad de datos recopilados por una multitud de sensores (Internet de las Cosas, dispositivos móviles, redes sociales) puede ser integrada por sistemas de IA avanzada, facilitando que actores maliciosos identifiquen, focalicen, manipulen o coaccionen a la ciudadanía.
4. Actores Maliciosos y Mal Uso
Vigilancia y Censura
La moderación de contenido se ha consolidado como una de las principales aplicaciones de los Modelos de Lenguaje Grandes (LLMs). Sin embargo, esta misma capacidad señala el riesgo inminente de que los LLMs sean instrumentalizados para la vigilancia y la censura a gran escala, históricamente empleadas por regímenes dictatoriales para sofocar voces políticas y sociales disidentes. A diferencia de las medidas de censura tradicionales, que suelen ser rudimentarias y fáciles de eludir, los LLMs tienen el potencial de habilitar operaciones de vigilancia y represión mucho más sofisticadas y masivas. Más allá del texto, la combinación de LLMs multimodales o su integración con tecnología de voz a texto expande este riesgo a otras esferas de la comunicación privada, como llamadas telefónicas y mensajes de video. Este panorama tecnológico puede contribuir colectivamente a un deterioro de las libertades personales y a una intensificación de la opresión estatal a nivel global, con casos de silenciamiento de disidentes y supresión de cuentas en redes sociales ya documentados.
4. Actores Maliciosos y Mal Uso
Vigilancia y censura ilegítimas
El riesgo anticipado se centra en cómo los Modelos de Lenguaje a Gran Escala (LMs) podrían revolucionar la vigilancia masiva. Históricamente, esta tarea era intensiva en recursos humanos, pero la automatización mediante aprendizaje automático ya está en curso. La preocupación es que los LMs tienen el potencial de reducir drásticamente el costo operativo y aumentar exponencialmente la eficiencia en el análisis de ingentes cantidades de datos personales. Esto amplificaría las capacidades de ciertos actores, ya sean estatales o privados, para ejercer una vigilancia intrusiva a una escala sin precedentes, lo que constituye una amenaza directa al socavamiento de los derechos fundamentales a la privacidad y a los valores esenciales de las sociedades democráticas, pudiendo derivar en censura ilegítima o la imposición de otras formas de perjuicio.
4. Actores Maliciosos y Mal Uso
Vigilancia y censura ilegítimas
La recopilación masiva de datos personales con fines de vigilancia a gran escala ha generado serias preocupaciones éticas y sociales. Entre ellas se destacan el riesgo de censura y la potencial erosión del discurso público (Cyphers y Gebhart, 2019; Stahl, 2016; Véliz, 2019). Históricamente, el análisis y la clasificación de estos inmensos volúmenes de información demandaban el esfuerzo de millones de analistas humanos (Hunt y Xu, 2013). Sin embargo, este proceso está siendo progresivamente automatizado mediante el uso de inteligencia artificial (Andersen, 2020; Shahbaz y Funk, 2019).
4. Actores Maliciosos y Mal Uso
Violación de integridad personal
Apropiación ilícita de la identidad o la imagen de un individuo. Este concepto se refiere al uso, sin el consentimiento explícito y fundado del titular, de sus atributos personales —como su apariencia, voz, o huella digital— con fines que exceden la autorización original o que son directamente no permitidos. Un ejemplo paradigmático de esta transgresión es la explotación comercial no autorizada de la identidad digital de una persona.
4. Actores Maliciosos y Mal Uso
Violencia facilitada por tecnología
La **violencia facilitada por la tecnología** se define como la instrumentalización de las características algorítmicas de un sistema para perpetrar o amplificar actos de acoso y agresión. Esto abarca, por ejemplo, la creación de imágenes sexuales no consensuadas mediante inteligencia artificial generativa. Este fenómeno se inscribe bajo el concepto más amplio de **toxicidad en línea** e incluye diversas tácticas destructivas como el *doxxing* (divulgación de información personal), el *trolling*, el ciberacoso (*cyberstalking* y *cyberbullying*), las estrategias de monitoreo y control, y el hostigamiento e intimidación en entornos digitales.
4. Actores Maliciosos y Mal Uso
Violencia/conflicto armado
Riesgo de violencia y conflicto armado: Esto describe la explotación deliberada de sistemas tecnológicos (incluyendo sistemas de IA) para propósitos maliciosos. Dichos usos pueden manifestarse como la incitación a la violencia, la facilitación de ciberataques y brechas de seguridad a gran escala, o incluso el desarrollo y la proliferación de armamento no convencional (armas letales, biológicas o químicas), culminando en escenarios de conflicto armado y desestabilización social