Influencia y dependencia (dependencia excesiva)
La *sobreconfianza* o *dependencia excesiva* en la Inteligencia Artificial Generativa constituye un riesgo que va más allá de la mera influencia. Investigadores del proyecto AETHER de Microsoft (Ética e Impacto de la IA en Ingeniería e Investigación) definen este fenómeno de manera muy precisa: ocurre cuando el usuario es incapaz de calibrar el nivel de confianza apropiado en el sistema, lo cual le lleva a dos fallos críticos. El primero es "aceptar recomendaciones incorrectas de la IA" y el segundo es "cometer activamente errores" basados en la suposición de que la sugerencia algorítmica es inherentemente correcta.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit693
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Fomentar la Explicabilidad y Transparencia del Sistema - Implementar mecanismos que permitan al usuario comprender el razonamiento subyacente y los límites de competencia del modelo de IA Generativa. Esto incluye indicar el nivel de confianza o incertidumbre de las recomendaciones (calibración de la confianza). 2. Implementar Programas de Alfabetización y Concientización en IA - Desarrollar capacitación dirigida a los usuarios finales (factor humano) para cultivar el pensamiento crítico, la evaluación de riesgos inherentes a la tecnología, y el uso consciente y responsable de las herramientas de IA, mitigando la propensión a la *sobreconfianza* acrítica. 3. Establecer Puntos de Validación Humana y Control de Calidad - Diseñar flujos de trabajo que requieran la intervención humana obligatoria (Human-in-the-Loop) para las decisiones críticas o de alto impacto. Esto asegura una revisión final por un experto, especialmente cuando la salida de la IA no está respaldada por una alta métrica de confianza. 4. Desarrollar un Marco Normativo y Ético Específico - Crear directrices organizacionales o legales que definan el grado aceptable de dependencia en el sistema de IA para funciones específicas, asegurando que la supervisión y la responsabilidad última permanezcan en manos humanas.