Dependencia excesiva
El riesgo clave surge de la *transferencia de confianza* hacia las capacidades emocionales e interpersonales del asistente de IA. Esta fe puede motivar al usuario a realizar *revelaciones de alta sensibilidad*, como problemas de salud mental, un fenómeno que sustenta la integración propuesta de IA conversacional en el soporte emocional e incluso en la psicoterapia. Sin embargo, estas interacciones exigen una delicadeza y un enfoque profesional que la IA solo puede *mimetizar*, y del que puede desviarse en momentos inoportunos. Una respuesta inapropiada de la IA, por ejemplo, al generar información incorrecta ante una confesión sensible, podría tener *consecuencias graves*, especialmente si el usuario se encuentra en una situación de crisis sin otros medios de apoyo. Este peligro se amplifica en escenarios donde la confianza en una sugerencia imprecisa del AI, particularmente en áreas como el asesoramiento médico, legal o financiero, expone directamente al usuario a un *riesgo inminente*.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit368
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Prioridad 1: Implementación de Protocolos de Respuesta y Referencia en Crisis (Reducción de Riesgo). * Acción: Establecer mecanismos para la detección automática de interacciones de alta sensibilidad, crisis o solicitudes de asesoramiento profesional (médico, legal, financiero). El sistema debe ser programado para rechazar directamente la provisión de dicho asesoramiento, emitir una advertencia de riesgo explícita y ofrecer inmediatamente recursos externos verificados y profesionales (ej. líneas de ayuda o servicios de emergencia) para mitigar el riesgo de daño inminente por sobre-confianza.2. Prioridad 2: Gestión de la Percepción y Controles del Antropomorfismo (Reducción de Riesgo). * Acción: Integrar en el diseño de la interfaz y la conducta del agente características que gestionen las expectativas del usuario, reduciendo el sesgo antropomórfico. Esto se logra mediante la inclusión de disclaimers obligatorios y recurrentes que definan la naturaleza artificial, las limitaciones de competencia y la falta de capacidad emocional, desincentivando la *transferencia de confianza* y la divulgación de información sensible.3. Prioridad 3: Fortalecimiento de la Robustez y la Explicabilidad del Modelo (Reducción de Riesgo). * Acción: Aplicar pruebas de validación rigurosas y sistemas de monitoreo continuo (observabilidad) para asegurar la precisión y coherencia de las respuestas, minimizando la generación de información incorrecta o alucinaciones en contextos delicados. Es esencial que el sistema mantenga un alto nivel de competencia técnica para reducir la probabilidad de que una respuesta errónea amplifique el estado de crisis del usuario.