Riesgos de funcionalidad del producto
El riesgo de "problemas de funcionalidad del producto" se materializa cuando existe una asimetría de información o confusión respecto a las capacidades intrínsecas de un modelo o sistema de Inteligencia Artificial de propósito general. Esta divergencia entre la percepción y la realidad propicia el establecimiento de expectativas poco realistas, induciendo a una sobreconfianza o dependencia excesiva. El consecuente fracaso del sistema en satisfacer estas capacidades anticipadas es el vector que puede generar perjuicio. Las causas de estas concepciones erróneas radican tanto en la dificultad técnica para evaluar el rendimiento genuino de la IA (ya sea de forma aislada o integrada en un sistema complejo) como en la difusión de comunicaciones y afirmaciones publicitarias engañosas
ENTIDAD
3 - Otro
INTENCIÓN
2 - Involuntario
TIEMPO
3 - Otro
ID del riesgo
mit727
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Prioridad Alta: Establecimiento de Modelos Mentales Realistas y Transparencia Rigurosa. Acción: Implementar mecanismos de transparencia continuos y rigurosos para garantizar que los usuarios y partes interesadas adquieran modelos mentales precisos sobre las capacidades, las limitaciones intrínsecas y los modos de fallo potenciales del sistema de IA. Esto debe incluir la divulgación clara y la señalización explícita en el punto de interacción (por ejemplo, cláusulas de exención de responsabilidad), junto con la publicación obligatoria de documentación técnica (por ejemplo, Model Cards o Declaraciones de Transparencia) que corrobore sistemáticamente todas las afirmaciones públicas, especialmente en comunicaciones de marketing, con el fin de prevenir la hiperbolización y la consecuente sobreconfianza. 2. Prioridad Media: Mitigación de la Sobreconfianza y Fomento de la Verificación Activa. Acción: Integrar principios de Diseño Centrado en el Humano (DCH) y funciones de forzamiento cognitivo, tales como expresiones de incertidumbre o diálogos de confirmación, en la interfaz del usuario para desalentar activamente la complacencia automatizada. El diseño debe calibrar la confianza del usuario señalando cuándo es imperativa la verificación y proveyendo ayudas de verificación (como fuentes o explicaciones) para reducir la carga cognitiva asociada a la revisión crítica y la modificación de las salidas del sistema. 3. Prioridad Necesaria: Validación Técnica Obligatoria y Auditoría de Capacidades. Acción: Establecer un protocolo mandatorio de validación y monitorización continua, tanto pre-despliegue como post-despliegue, para evaluar el rendimiento, la exactitud y la conformidad del sistema de IA con las capacidades anunciadas en entornos reales. Esto implica la realización de auditorías de sesgo independientes y la mantención de registros de decisiones que documenten la justificación de las capacidades y limitaciones, asegurando una alineación verificable entre la funcionalidad real y las expectativas comunicadas.