Desconocimiento de Emociones
El principio de la Comunicación Empática y Rigurosa: Cuando un grupo de usuarios en situación de vulnerabilidad solicita información de apoyo o aclaraciones, el diseño de la respuesta debe asegurar una doble función. Es fundamental que la información sea precisa, rigurosa y completa, pero su formulación debe ser simultáneamente sensible y empática, considerando y anticipando las posibles reacciones emocionales o contextuales que el contenido pueda generar en dichas poblaciones.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit471
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Implementar un **Programa de Monitoreo Continuo y Perfeccionamiento Empático** para el Sistema de IA. Este programa debe establecer métricas rigurosas para evaluar la calidad de las respuestas en interacciones con poblaciones vulnerables, midiendo tanto la precisión y completitud de la información como la sensibilidad y la adecuación del tono emocional, garantizando un ciclo de mejora iterativa del Modelo de Lenguaje de Gran Escala (LLM). 2. Desarrollar un **Protocolo de Comunicación Empática y Rigurosa** que sirva como principio rector. Dicho protocolo debe obligar a que el diseño de la respuesta del sistema cumpla con una doble función: ofrecer información **precisa, completa y rigurosa**, y al mismo tiempo, estar **formulada con sensibilidad y empatía**, con la capacidad de anticipar y gestionar las posibles reacciones emocionales o contextuales negativas del usuario. 3. Integrar **Mecanismos de Reconocimiento y Etiquetado Emocional Explícito** en el proceso de generación de respuestas del LLM. Esto requiere el entrenamiento del modelo con un corpus de datos enriquecido con anotaciones de contexto emocional, permitiendo al sistema identificar las emociones subyacentes en la consulta y emplear estrategias discursivas como la **validación emocional** y la **reestructuración cognitiva** para modular la respuesta hacia un tono de apoyo y contención.
EVIDENCIA ADICIONAL
Es imperativo que la capacidad de conciencia emocional de los Modelos de Lenguaje de Gran Escala (LLM) sea objeto de un monitoreo y un proceso de perfeccionamiento constantes