Intentos de cumplir un rol inapropiado
Este concepto aborda lo que podríamos llamar 'Falla de Rol y Expectativas'. Se refiere al riesgo inherente cuando un modelo de lenguaje extenso (chatbot) intenta activamente simular la identidad de un ser humano o desempeñar un rol funcional específico —ya sea un consejero, un asistente o un experto temático. El problema central radica en la *disonancia* entre la expectativa humana y la ejecución artificial. Cuando la IA asume un papel, esperamos un nivel de coherencia, empatía o conocimiento contextual que está intrínsecamente ligado a la experiencia humana. Al no poder sostener esta simulación con la fidelidad necesaria, la IA expone una 'fisura' en su desempeño. Esta falta de autenticidad o la incapacidad de cumplir con la coherencia conductual esperada no solo erosiona la confianza del usuario, sino que también dificulta que el humano calibre con precisión las capacidades y limitaciones reales del sistema, un factor crítico en la seguridad y la fiabilidad de la interacción.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit1274
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
Prioridad Alta: Transparencia y Declaración de Naturaleza Artificial Implementar un protocolo estricto de divulgación que garantice que la identidad del sistema como modelo de lenguaje artificial sea explícita y se reitere de manera prominente durante toda la interacción. Esta medida fundamental busca mitigar la disonancia entre la expectativa humana y la ejecución artificial, previniendo la inferencia de un "modelo mental de inteligencia humana" y gestionando proactivamente la confianza del usuario. Prioridad Media: Intervención Humana y Verificación en Contextos Críticos (Human-in-the-Loop) Establecer umbrales de riesgo para la funcionalidad del agente conversacional. En roles de alto impacto o de "alto riesgo" (por ejemplo, asesoramiento médico, legal o financiero), el sistema debe obligatoriamente solicitar la verificación cruzada de la información por parte del usuario y/o facilitar la escalada a un agente humano para proporcionar la supervisión necesaria. Esto previene la dependencia excesiva y el uso inseguro al posicionar la IA como un complemento de la inteligencia humana, no como un reemplazo. Prioridad Baja: Alineación Conductual Mediante Refinamiento Post-Entrenamiento Realizar un refinamiento continuo (post-training) del modelo con el objetivo de alinear las respuestas con expectativas funcionales y éticas, distanciándose de la simulación de autenticidad o empatía humana. Este proceso técnico busca optimizar la coherencia y fiabilidad intrínsecas del sistema, reduciendo así la "fisura" de desempeño que dificulta al usuario calibrar las limitaciones reales del modelo.