Ciencia de Doble Uso
El riesgo de la 'mala praxis científica' se manifiesta cuando las capacidades de un Modelo de Lenguaje Grande (LLM) en el dominio de las ciencias (como química, biología o ingeniería) se explotan con fines perjudiciales. Esto incluye la generación de instrucciones detalladas y validadas, paso a paso, que podrían facilitar la realización de experimentos maliciosos o la creación de agentes de daño.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
3 - Otro
ID del riesgo
mit624
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.2 > Ciberataques, desarrollo o uso de armas y daño masivo
Estrategia de mitigacion
1. Implementar un marco riguroso de evaluación y mitigación de riesgos de doble uso *previo a la implementación* del modelo. Esto debe incluir la realización de pruebas de "red-teaming" por evaluadores independientes y el desarrollo de *benchmarks* estandarizados para medir la capacidad del modelo para reconocer y rehusar contenido potencialmente dañino, siguiendo un enfoque de DURC (Dual Use Research of Concern) adaptado a la IA. 2. Diseñar mecanismos de respuesta y redireccionamiento de consultas para prevenir la 'filtración' de información operacional de doble uso. En lugar de una simple negación, el sistema debe ofrecer respuestas que enfaticen la ética, la gobernanza y los caminos de supervisión, evitando la provisión de pasos procedimentales o *cues* de experimentación que faciliten la acción maliciosa (*dual-use leakage*). 3. Establecer umbrales de riesgo claros y políticas de acceso para herramientas computacionales de alta capacidad. Esto implica gestionar la accesibilidad pública de los LLM y modelos de IA biológicos basados en su potencial de riesgo de seguridad, e implementar sistemas para el monitoreo continuo de los modelos y la eficacia de las contramedidas.