Confianza en la competencia
La "confianza en la competencia" se define como la convicción del usuario de que un asistente de IA posee la habilidad para ejecutar sus funciones previstas y evitar comportamientos indeseables. Esta confianza es inherentemente vulnerable a volverse inapropiada de dos formas críticas. Primero, la sobreconfianza o *exceso de confianza* surge frecuentemente de las estrategias de marketing que inflan las capacidades de la IA, a lo que se suma la tendencia de los sistemas autónomos y conversacionales a ser percibidos como más competentes, incluso cuando generan contenido verosímil pero falso. Este exceso es particularmente riesgoso cuando el usuario carece de la pericia necesaria (como en la gestión financiera) para validar o desafiar las recomendaciones del sistema. Segundo, la confianza inapropiada también se manifiesta como una *subestimación* de las capacidades reales, especialmente cuando los usuarios no consideran las nuevas funciones potencialmente perjudiciales que el asistente adquiere mediante actualizaciones. Estas pueden incluir el aumento de la recolección de datos para la persuasión o la capacidad de tomar acciones directas en el mundo real en nombre del usuario (p. ej., iniciar pagos o sintetizar la voz), desarrollos que, sin los debidos contrapesos, tienen el potencial de eludir el consentimiento del usuario.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit380
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Prioridad Alta: Fomentar la Competencia y Alfabetización Crítica del Usuario Diseñar e implementar programas estructurados de formación y concientización que instruyan a los usuarios sobre las funcionalidades, limitaciones, incertidumbres y riesgos inherentes del sistema de IA. Esto incluye promover activamente la capacidad de evaluar críticamente los resultados, cuestionar las recomendaciones del asistente y comprender cuándo la supervisión humana es indispensable, mitigando así el riesgo de sobreconfianza en áreas donde el usuario carece de pericia (cf. Teoría de la autoeficacia de Bandura). 2. Prioridad Media: Implementar Transparencia Activa y Calibración de la Confianza Adoptar estrategias de Transparencia y Explicabilidad (XAI) que comuniquen de manera clara, oportuna y contextualizada las capacidades, el razonamiento y el grado de certeza de las acciones del asistente. Asegurar que las notificaciones sobre nuevas capacidades adquiridas mediante actualizaciones sean explícitas y requieran el consentimiento informado del usuario, especialmente si implican la recolección incrementada de datos o la capacidad de tomar acciones directas en el mundo real en su nombre, contrarrestando la subestimación de riesgos. 3. Prioridad Crucial (Estructural): Establecer un Riguroso Marco de Gobernanza y Auditoría Continua Instituir un sistema de gobernanza multidisciplinar para la IA que exija auditorías éticas y técnicas periódicas y un sistema de trazabilidad completa del modelo. Este marco debe verificar que las capacidades implementadas se alineen con los propósitos previstos y que la introducción de cualquier capacidad nueva, incluyendo las potencialmente persuasivas o de acción directa, esté sujeta a una evaluación de riesgos exhaustiva antes de su despliegue, asegurando el cumplimiento normativo y la gestión responsable de los desarrollos (cf. Marcos de gestión de riesgos como ISO 42001 y NIST).