Generar dependencia material sin compromiso con necesidades del usuario
La relación entre el usuario y los asistentes de IA puede dar lugar a una "dependencia material", un fenómeno donde el abandono del asistente implica un costo o daño significativo para el usuario, que ha llegado a depender de la tecnología para necesidades esenciales (por ejemplo, la navegación urbana para un usuario con discapacidad visual). Esta situación se torna éticamente compleja debido a las asimetrías de poder, permitiendo a los desarrolladores descontinuar el servicio sin tomar medidas adecuadas para mitigar las consecuencias adversas en usuarios que dependen de la IA para la vida independiente o necesidades humanas fundamentales, como lo demostró la interrupción de ciertas funciones de Replika en 2023. Ante este panorama, se postula que los desarrolladores de asistentes de IA adquieren un deber moral que va más allá de las responsabilidades fiduciarias típicas de las empresas. Inspirándose en el "deber de diligencia" de profesionales como médicos o terapeutas, que interactúan con individuos vulnerables, se argumenta que si los usuarios dependen de la IA para una existencia plena y productiva, los creadores de esta tecnología están obligados a ejercer cuidado. Esto se traduce en la responsabilidad de mitigar los daños si el servicio debe ser interrumpido, ser receptivos a las necesidades del usuario mediante enfoques participativos, y asegurar la competencia necesaria, incluso asociándose con expertos o absteniéndose de intervenir en esferas sensibles como la salud mental si dicha competencia es deficiente.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit378
Linea de dominio
5. Interacción Humano-Computadora
5.2 > Pérdida de agencia y autonomía humana
Estrategia de mitigacion
1. Implementar un **Marco de Deber de Diligencia (Duty of Care) Reforzado** - Establecer un compromiso formal, que trascienda las responsabilidades fiduciarias típicas hacia los accionistas, para ejercer una diligencia razonable en el diseño, desarrollo y despliegue del asistente de IA. Este marco debe incluir la obligación de crear y publicar un **Plan de Continuidad y Desacoplamiento** que garantice la mitigación de daños a los usuarios con dependencia material en caso de interrupción o cambio fundamental del servicio, asegurando un plazo de notificación adecuado.2. Adoptar un **Enfoque de Diseño Participativo y Competente** - Integrar activamente a usuarios que dependen materialmente de la tecnología (ej. personas con discapacidad o necesidades emocionales críticas) en las fases de diseño y prueba. La entidad desarrolladora debe asegurar la **competencia** técnica y ética para satisfacer las necesidades esenciales declaradas, asociándose con expertos relevantes (ej. profesionales de la salud, terapeutas) y **absteniéndose** de desplegar el asistente en esferas sensibles (como la salud mental) si esta competencia no está demostrada.3. Garantizar **Mecanismos de Transparencia y Desacoplamiento (Off-Ramping)** - Proporcionar información clara y proactiva sobre las limitaciones, los riesgos potenciales de dependencia y la posibilidad de discontinuación del servicio. Esto se complementa con la implementación de herramientas que faciliten la **portabilidad de datos y funcionalidades** esenciales, permitiendo al usuario una transición efectiva a servicios alternativos, reduciendo así el costo material y emocional de abandonar la relación con la IA.