Malos Usos Específicos del Dominio
El avance exponencial en los Grandes Modelos de Lenguaje (LLM) está intensificando la presión para su adopción en dominios de alta sensibilidad social, como la salud y la educación. No obstante, las implementaciones rudimentarias o apresuradas en estos sectores pueden resultar en daños tangibles y deben ser rigurosamente desincentivadas. Es imperativo establecer salvaguardias contra las diversas modalidades de mal uso que los LLM pueden propiciar en cualquier campo. En el ámbito sanitario, por ejemplo, se documentó el caso de una organización de salud mental que experimentó con terapias asistidas por LLM sin el debido consentimiento informado de sus usuarios. En el sector educativo, el impacto adverso sobre el proceso de aprendizaje es múltiple, abarcando desde el uso de los modelos por parte de los estudiantes como mero accesorio para hacer trampa, hasta su empleo por parte del profesorado como un sistema de evaluación de baja fidelidad. Adicionalmente, investigaciones recientes en psicología moral sugieren que los LLM son capaces de generar valoraciones éticas que el público percibe como superiores al juicio humano. Esta percepción podría ser explotada para construir guías morales altamente convincentes, pero fundamentalmente perjudiciales. Estos patrones de riesgo y mal uso son extrapolables a otros dominios operativos.
ENTIDAD
1 - Humano
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1347
Linea de dominio
4. Actores Maliciosos y Mal Uso
4.3 > Fraude, estafas y manipulación dirigida
Estrategia de mitigacion
1. Implementar un marco de gobernanza riguroso que exija la **supervisión humana calificada** y el **consentimiento informado explícito** para la aplicación de LLMs en dominios críticos como la salud mental o la toma de decisiones clínicas y pedagógicas. Es imperativo asegurar la **responsabilidad profesional indelegable** en todas las decisiones, manteniendo al LLM como un sistema de soporte a la decisión (CDSS) que complementa, y no sustituye, el juicio experto. 2. Desarrollar e integrar **mecanismos de alineación** avanzados (e.g., Aprendizaje por Refuerzo a partir de la Retroalimentación Humana - RLHF) para moldear el comportamiento ético intrínseco del modelo. Esto debe enfocarse en prevenir la generación de **guías morales dañinas** o valoraciones que se perciben como superiores al juicio humano, y en aplicar **filtros de contenido dinámico** (*guardrails*) robustos para bloquear entradas y salidas que faciliten el fraude, el plagio o la difusión de contenido perjudicial en entornos educativos. 3. Establecer **políticas institucionales estrictas** que delimiten el uso autorizado de LLMs en el flujo de trabajo y la gestión de datos sensibles. Es crucial implementar controles técnicos para la **detección y bloqueo de "shadow AI"** (aplicaciones no autorizadas) y desarrollar **programas de concienciación y formación continua** para el personal y los usuarios sobre las vulnerabilidades específicas de los LLMs y la necesidad de verificar la veracidad de los resultados, especialmente en ausencia de bases de datos verificadas (mitigación de alucinaciones).