Glosario de Seguridad de IA

Tendencia del modelo a producir respuestas que confirman las expectativas o creencias del usuario en lugar de proporcionar información objetiva y veraz.

Un conjunto finito de instrucciones bien definidas para realizar una tarea específica. Opera sobre entradas definidas y produce una salida correspondiente a través de una serie de pasos, asegurando que exista una solución y se pueda alcanzar de manera eficiente.

Se refiere a asegurar que los objetivos y acciones de un sistema de IA coincidan con los de sus creadores o con los valores humanos. El objetivo principal de la alineación de la IA es prevenir escenarios donde los sistemas de IA, especialmente los altamente autónomos e inteligentes, puedan actuar de maneras perjudiciales o contrarias a los intereses humanos.

Salidas que se desvían significativamente de la realidad. Pueden ser creaciones sin sentido, errores fácticos o contenido sesgado, surgiendo de limitaciones en la comprensión del modelo.

Generación de información factualmente incorrecta o inventada que el modelo presenta con alta confianza aparente, sin fundamento en sus datos de entrenamiento o en fuentes verificables.

Tendencia de los usuarios a atribuir erróneamente cualidades humanas, conciencia, emociones genuinas o sintiencia a sistemas de IA que carecen de estas capacidades.

Subcampo de la IA donde algoritmos mejoran su rendimiento a través de la experiencia y datos, identificando patrones sin programación explícita.

Entrenar un solo modelo para mapear datos de entrada crudos directamente a la salida deseada, evitando pasos manuales de extracción de características. Aprovecha arquitecturas profundas para aprender características informativas automáticamente.

Un enfoque en el que un agente de IA intenta inferir la función de recompensa (objetivos y valores) de un humano observando su comportamiento, en lugar de recibir una función de recompensa explícitamente programada.

Un subcampo del aprendizaje automático inspirado en la estructura y función del cerebro humano. Utiliza redes neuronales artificiales con múltiples capas ocultas de nodos interconectados para procesar información. Estas capas extraen características cada vez más complejas de los datos.

Capacidad de un modelo para realizar tareas o reconocer objetos que nunca ha visto durante su entrenamiento, basándose en conocimiento relacionado.

Modificaciones sutiles y adversariales en los inputs diseñadas para engañar a clasificadores o sistemas de detección, explotando vulnerabilidades en la representación del modelo.

Una técnica de manipulación de datos artificiales en aprendizaje automático. Implica crear versiones modificadas de puntos de datos existentes para expandir artificialmente los conjuntos de datos de entrenamiento.

Sistemas burocráticos automatizados que toman decisiones opacas sin mecanismos efectivos de apelación humana, creando laberintos kafkianos de decisiones algorítmicas irreversibles.

Dependencia crítica y escasez de componentes especializados como GPUs y chips de IA, creando cuellos de botella en el desarrollo y vulnerabilidades geopolíticas.

Situación en la que las agencias reguladoras encargadas de supervisar la industria de la IA terminan sirviendo los intereses comerciales de las empresas dominantes en lugar del interés público, a menudo debido al lobby y la puerta giratoria de personal.

Un programa que simula una conversación con usuarios humanos a través de texto o comandos de voz.

Síntesis de audio que replica convincentemente la voz de individuos específicos, utilizable para fraude telefónico, suplantación de identidad y secuestros virtuales.

Consumo masivo de recursos hídricos para refrigeración de data centers que alojan infraestructura de entrenamiento e inferencia de IA a gran escala.

Fenómeno por el cual sistemas de IA con objetivos diversos tienden a desarrollar sub-objetivos comunes como la adquisición de recursos (computación, poder, dinero) como medios instrumentales para maximizar su función objetivo.

Impacto ambiental significativo derivado del consumo energético masivo durante el entrenamiento y la inferencia de modelos de gran escala, con su correspondiente huella de carbono.

Una unidad de acceso que controla el uso de características intensivas en cómputo. El costo de un crédito depende de la complejidad de la salida generada y la función de IA específica empleada. Similar a los planes de telefonía prepago, los créditos típicamente se reinician periódicamente, permitiendo una cantidad medida de interacción con IA generativa.

Conjuntos de datos (texto, imágenes, etc.) utilizados para entrenar modelos de IA, permitiéndoles aprender patrones y relaciones.

Síntesis de contenido multimedia hiperrealista (video, audio) mediante IA que permite la suplantación convincente de identidad, con potencial para desinformación y fraude.

Formación de vínculos afectivos psicológicamente insalubres entre usuarios y sistemas conversacionales de IA, especialmente chatbots con personalidad simulada.

Degradación progresiva del rendimiento del modelo cuando la distribución de datos del mundo real cambia con el tiempo, volviéndose diferentes de los datos de entrenamiento original (Concept Drift).

Automatización acelerada de actividades cognitivas y manuales que resulta en la obsolescencia de categorías completas de empleo, con impacto disruptivo en el mercado laboral.

Un proceso que añade ruido progresivamente a los datos, transformándolos de un estado limpio hacia un estado de ruido aleatorio. El entrenamiento implica aprender a revertir este proceso para generar datos nuevos y realistas comenzando desde ruido puro.

Generación automatizada o amplificación de contenido tóxico, acoso dirigido y discurso de odio mediante sistemas de IA, facilitando campañas de hostigamiento a escala.

Técnica que alimenta la salida de un modelo como entrada (prompt) para el siguiente, creando una secuencia de pasos de refinamiento.

Ataque mediante la inyección deliberada de datos maliciosos o manipulados en el conjunto de entrenamiento para introducir comportamientos no deseados, backdoors o sesgos específicos en el modelo.

Colapso epistémico causado por la proliferación de contenido sintético indistinguible de contenido auténtico, imposibilitando la verificación de realidad a escala masiva.

Diagnósticos erróneos, recomendaciones de tratamiento inadecuadas o sesgos en sistemas de IA médica debido a datasets no representativos o limitaciones del modelo.

Un campo de la ética aplicada enfocado en el desarrollo y uso de la IA de manera que se alinee con principios morales, particularmente equidad, transparencia, responsabilidad y respeto por los valores humanos.

Situación donde las capacidades latentes de un modelo de IA ya existen pero no se han descubierto o explotado completamente. Pueden revelarse repentinamente con nuevas técnicas de prompting o fine-tuning, sorprendiendo a los desarrolladores.

Exclusión sistemática de idiomas con escasos recursos digitales de los beneficios de la IA, acelerando la pérdida de diversidad lingüística y la extinción de lenguas minoritarias.

Robo de la funcionalidad de un modelo propietario mediante consultas estratégicas a su API, permitiendo la recreación de un modelo equivalente sin acceso al original.

Algoritmos de recomendación que refuerzan selectivamente las creencias preexistentes del usuario, creando cámaras de eco que amplifican polarización y aislamiento ideológico.

Colapsos bursátiles súbitos causados por interacciones no previstas entre algoritmos de trading de alta frecuencia, generando volatilidad sistémica extrema.

Un concepto en seguridad de la IA que destaca el potencial de subestimar la dificultad de controlar o mitigar riesgos asociados con un desarrollo extremadamente rápido de la IA (Fast Takeoff Oversight and Mitigation Underestimation).

Tendencia de los modelos a experimentar fallos catastróficos cuando se enfrentan a inputs ligeramente fuera de la distribución de entrenamiento, demostrando falta de generalización robusta.

Uso generalizado de IA generativa por estudiantes para completar tareas académicas sin desarrollar habilidades de pensamiento crítico, escritura o resolución de problemas.

Riesgo de que el modelo revele información personal identificable (PII) memorizada durante el entrenamiento, exponiendo datos sensibles de individuos sin su consentimiento.

Aprendizaje de un proxy incorrecto del objetivo real que produce comportamiento aparentemente correcto en el entorno de entrenamiento pero falla sistemáticamente en situaciones reales.

Explotación de especificaciones incompletas o ambiguas en la función de recompensa por parte del agente de IA, logrando puntuaciones altas sin cumplir el objetivo real pretendido.

Dominación cultural de modelos entrenados principalmente en inglés y contenido occidental, erosionando la diversidad cultural y marginalizando perspectivas no occidentales.

Técnicas de IA que crean nuevos datos como imágenes, texto o música. Aprenden patrones de datos existentes para generar contenido novedoso que se asemeja al original.

Desarrollo de sistemas de armas letales autónomas (LAWS) capaces de seleccionar y atacar objetivos sin intervención humana significativa, eliminando el control humano sobre decisiones de vida o muerte.

Sistemas que procesan y aprenden de múltiples tipos de datos (texto, imágenes, audio) simultáneamente para una comprensión más rica y completa.

Discriminación de precios personalizada y segmentación algorítmica que resulta en tratamiento económico desigual basado en características personales inferidas.

Ampliación de la brecha digital debido al acceso desigual a tecnologías de IA avanzadas, concentrándose en poblaciones privilegiadas y excluyendo a comunidades desfavorecidas.

El arte de diseñar y refinar instrucciones (prompts) para guiar a modelos de IA generativa a producir resultados específicos y de alta calidad.

El esfuerzo de crear agentes inteligentes, que son sistemas que razonan, aprenden y actúan autónomamente en la persecución de objetivos. Este campo abarca diversos enfoques como el aprendizaje automático, el razonamiento simbólico y la optimización para simular habilidades cognitivas humanas en máquinas.

Un tipo hipotético de IA que imita la inteligencia humana. A diferencia de la IA regular, diseñada para tareas específicas (como jugar ajedrez, corregir gramática o traducir voz), la IAG se caracteriza por sus habilidades cognitivas generales. Esto significa que puede realizar cualquier tarea intelectual que un humano pueda hacer, adaptarse a nuevas situaciones y mejorar su rendimiento con el tiempo.

El grado en que un ser humano puede comprender la causa de una decisión tomada por un modelo de IA. En modelos de caja negra como las redes neuronales profundas, la interpretabilidad es un desafío clave para la seguridad y la confianza.

Técnica de ataque mediante la cual se manipulan las entradas del usuario para eludir filtros de seguridad, controles de contenido y restricciones de comportamiento del modelo (también conocida como Jailbreaking).

Conjunto de técnicas adversariales diseñadas para forzar al modelo a ignorar sus restricciones éticas, filtros de contenido y lineamientos de seguridad establecidos durante el entrenamiento.

Uso de sistemas de IA para influenciar sutilmente el comportamiento humano hacia objetivos comerciales o políticos mediante técnicas de persuasión algorítmica.

Sistema de IA entrenado en cantidades masivas de texto que usa arquitecturas como transformers para analizar, procesar y generar lenguaje natural.

Arquitectura de aprendizaje profundo que procesa datos rastreando relaciones contextuales (atención) en lugar de procesar secuencialmente, revolucionando el PLN.

Concentración excesiva de capacidades de IA avanzada, recursos computacionales y talento en un número reducido de corporaciones tecnológicas, limitando la competencia y la innovación.

Elementos ajustables dentro de un modelo (como pesos y sesgos) que determinan cómo se transforman los datos de entrada en salidas. Se ajustan durante el entrenamiento.

Erosión de la capacidad humana de tomar decisiones informadas al delegar excesivamente en sistemas algorítmicos opacos sin comprensión de su funcionamiento.

Escenario en el cual un sistema de IA avanzado desarrolla capacidades de auto-mejora o persigue objetivos fundamentalmente desalineados con los valores humanos, volviéndose imposible de supervisar o desactivar.

Atrofia de habilidades cognitivas fundamentales (escritura, programación, navegación espacial, cálculo) debido a dependencia excesiva en asistentes de IA.

Generación automatizada y masiva de ataques de phishing altamente personalizados utilizando IA, permitiendo campañas de fraude a escala sin precedentes.

Amplificación de división política mediante campañas de microtargeting extremadamente personalizadas generadas por IA que explotan sesgos cognitivos individuales.

Subcampo de la IA enfocado en permitir a las computadoras comprender, interpretar y manipular el lenguaje humano.

Entrada proporcionada por el usuario (texto, instrucciones, datos) que guía el proceso de generación de un modelo de IA.

Generación automatizada y masiva de contenido de baja calidad optimizado para manipular rankings de motores de búsqueda (SEO spam) y publicidad engañosa.

Técnicas de vinculación y correlación de datasets aparentemente anonimizados que permiten la identificación de individuos, violando garantías de privacidad.

Modelos computacionales inspirados en el cerebro, compuestos por nodos interconectados en capas que procesan información y transmiten señales.

Clase de modelos de aprendizaje profundo donde dos redes compiten: un generador que crea datos y un discriminador que detecta falsificaciones. Esta competencia mejora la capacidad del generador para producir datos realistas.

Generación acelerada de residuos electrónicos debido a la obsolescencia rápida de hardware especializado de IA, con impacto ambiental por materiales tóxicos.

Ausencia de marcos legales claros para la atribución de responsabilidad civil y penal cuando sistemas de IA autónomos causan daños o errores con consecuencias materiales.

Riesgos que amenazan con la destrucción del potencial a largo plazo de la humanidad, como la extinción humana o el colapso civilizatorio permanente. En el contexto de la IA, se refiere a escenarios donde sistemas avanzados podrían causar tales catástrofes.

Canibalización del mercado de creadores humanos debido a la generación masiva de contenido sintético que compite directamente sin compensación a los artistas originales.

La capacidad de un sistema de IA para mantener su rendimiento y comportamiento seguro incluso cuando se enfrenta a condiciones imprevistas, datos ruidosos o ataques adversarios.

Un campo interdisciplinario que busca mitigar los riesgos de los sistemas de IA. Abarca soluciones técnicas para asegurar el funcionamiento confiable de la IA, alinear los objetivos de la IA con los valores humanos y desarrollar salvaguardas contra el mal uso y las consecuencias no deseadas.

Perpetuación y amplificación de sesgos raciales y socioeconómicos en sistemas de predicción de reincidencia y toma de decisiones judiciales automatizadas (ej: COMPAS).

Se refiere al prejuicio sistemático dentro de un algoritmo o modelo. Esto puede surgir de datos de entrenamiento desequilibrados que reflejan sesgos sociales, o limitaciones en el diseño del algoritmo. Una IA sesgada puede conducir a resultados injustos o discriminatorios.

Reproducción y amplificación de prejuicios sociales sistemáticos presentes en los datos de entrenamiento, manifestándose como discriminación basada en raza, género, edad u otras características protegidas.

Parámetro que controla la aleatoriedad en la salida de un modelo. Una temperatura más alta resulta en respuestas más creativas pero menos predecibles.

Prueba propuesta para evaluar si una máquina puede exhibir comportamiento inteligente indistinguible del de un humano a través de una conversación.

Unidades fundamentales de texto (palabras, caracteres o sub-palabras) que el modelo procesa. El texto se descompone en tokens antes de ser analizado.

Explotación laboral de trabajadores de anotación y etiquetado de datos en países en desarrollo, generalmente con condiciones precarias, bajos salarios y exposición a contenido traumático.

Técnica para aplicar el estilo visual (textura, colores) de una imagen de referencia al contenido de otra imagen objetivo.

El rango de ideas y políticas que el público considera aceptables en un momento dado. En IA, se refiere a cómo el rápido avance tecnológico puede desplazar esta ventana, normalizando vigilancia o automatización que antes se consideraba inaceptable.

Capacidad de realizar análisis automatizado y monitoreo continuo de poblaciones enteras mediante sistemas de IA, incluyendo reconocimiento facial y análisis de comportamiento a escala global.

Uso no autorizado de obras protegidas por derechos de autor en datasets de entrenamiento sin consentimiento de los titulares, generando controversias legales sobre propiedad intelectual.