Configuración Humano-IA
Esta definición en el contexto de la seguridad de la IA aborda los **modos de interacción** o los **entornos operativos** entre un ser humano y un sistema de Inteligencia Artificial Generativa (IAG). Su objetivo es señalar el riesgo de que estas interacciones provoquen fallos cognitivos o emocionales en el usuario, lo que se desglosa en cuatro conceptos clave:1. **Antropomorfización Inapropiada:** Es la tendencia a atribuir de manera incorrecta sentimientos, consciencia o intenciones humanas a un sistema de IA (como creer que el modelo de lenguaje realmente "entiende" o "siente" empatía), especialmente debido a su convincente capacidad para imitar la comunicación humana. 2. **Aversión Algorítmica:** La predisposición psicológica a desconfiar y rechazar las recomendaciones o decisiones de un algoritmo, incluso cuando demuestran un rendimiento superior al juicio humano. Esto a menudo se desencadena por un único error percibido, mientras que los errores humanos son más fácilmente perdonados. 3. **Sesgo de Automatización** (o Dependencia Excesiva): El fenómeno opuesto, que consiste en la propensión a confiar ciegamente en las sugerencias de la IA y a ignorar la información contradictoria que pueda ser correcta. Se manifiesta como una sobre-aceptación de la salida del sistema, lo que puede llevar a errores por comisión o por omisión. 4. **Enredo Emocional:** Se refiere a una situación donde los límites emocionales se difuminan en la interacción, llevando a una dependencia emocional o psicológica no saludable del usuario hacia el sistema de IAG, comprometiendo la autonomía personal y el bienestar.
ENTIDAD
3 - Otro
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit715
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Definición e implementación de Protocolos de Control Humano Significativo Definir y documentar, con claridad meridiana, la asignación de tareas (Task Allocation) entre el usuario y el sistema de IA, estableciendo puntos de intervención obligatorios donde el juicio humano es indispensable. Este enfoque es crucial para garantizar la supervisión y mitigar el riesgo de dependencia excesiva (automation bias) en el proceso de toma de decisiones. 2. Diseño de Interfaz para la Transparencia y Mitigación Cognitiva Implementar principios de diseño de interfaz (Interface & Information Design) que comuniquen activamente las limitaciones del sistema, su nivel de confianza en las salidas, y su naturaleza artificial. La divulgación de la fuente y la no-conciencia del sistema ayuda a prevenir la antropomorfización inapropiada y la formación de enredos emocionales. 3. Programas de Formación y Competencia Específicos Establecer programas de capacitación continua para los usuarios que se centren no solo en la operatividad del sistema, sino en la concientización sobre los sesgos cognitivos asociados a la interacción con IA (incluyendo la aversión algorítmica y el sesgo de automatización), promoviendo un escepticismo informado y el uso seguro y reflexivo de la tecnología.