Atención Sanitaria
El despliegue de IA avanzada en el ámbito asistencial (cuidado de la tercera edad e infancia) plantea riesgos significativos, incluyendo la potencial manipulación psicológica y la posibilidad de errores de juicio graves (ver pág. 17). Además, la tensión entre la innovación médica y los derechos fundamentales se evidencia en la preocupación por la privacidad de los pacientes: el uso de historiales clínicos por parte de la IA para la investigación de nuevas enfermedades está impulsando un debate crucial sobre la necesidad de gobernar de manera más estricta la protección de datos y los derechos inherentes a los pacientes.
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit589
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Implementar un marco de Gobernanza de Datos y Consentimiento Riguroso Establecer protocolos de gobernanza que prioricen la protección de datos desde el diseño (*privacy by design*). Es imperativo garantizar la anonimización, seudonimización y el cifrado robusto de los historiales clínicos utilizados en la investigación. Se debe obtener el *consentimiento informado y específico* de los pacientes para la recopilación inicial y para cualquier propósito de reutilización de sus datos por parte de sistemas de IA, asegurando la plena adherencia a las regulaciones de privacidad de datos pertinentes (p. ej., GDPR, HIPAA). 2. Obligatoriedad de Supervisión Humana y Responsabilidad Clínica Exigir la *supervisión humana* en todas las decisiones o recomendaciones críticas que afecten a poblaciones vulnerables (tercera edad e infancia) para mitigar el riesgo de errores de juicio y manipulación psicológica. La responsabilidad ética y legal de la asistencia debe recaer siempre en el profesional humano o el cuidador, relegando a la IA al rol de herramienta de apoyo y exigiendo mecanismos de explicabilidad (*explainability*) para justificar sus salidas. 3. Pruebas de Resistencia y Transparencia en el Despliegue Local Asegurar que los modelos de IA sean sometidos a *validaciones rigurosas en entornos locales* antes de su implementación, incluyendo pruebas de resistencia (*pressure testing*) para detectar fallos o inexactitudes bajo entradas ruidosas o atípicas. Concomitantemente, se debe mitigar activamente el riesgo de sesgo algorítmico y proporcionar capacitación integral a los usuarios finales sobre las limitaciones operativas del sistema para evitar la dependencia excesiva y el uso inseguro.