Manipulación social en cuidado de ancianos/niños
La utilización de inteligencia artificial avanzada en el cuidado de poblaciones vulnerables, como la tercera edad y la infancia, introduce riesgos intrínsecos de **manipulación psicológica** y de **consecuencias adversas** derivadas de un **error de juicio o un diagnóstico erróneo** por parte del sistema autónomo.
ENTIDAD
2 - IA
INTENCIÓN
1 - Intencional
TIEMPO
2 - Post-despliegue
ID del riesgo
mit590
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Implementar la *supervisión humana obligatoria* y transparente en todos los puntos críticos de decisión del sistema de IA, garantizando que el juicio humano, la empatía y el discernimiento se mantengan como el factor determinante, evitando la dependencia excesiva (*over-reliance*). Establecer un marco ético sólido que priorice la dignidad y los derechos humanos de las poblaciones vulnerables. 2. Realizar *auditorías de sesgos algorítmicos* rigurosas y periódicas en los conjuntos de datos de entrenamiento y modelos para prevenir la perpetuación de prejuicios o la discriminación en diagnósticos y recomendaciones. Desarrollar y aplicar *salvaguardias técnicas* de contenido para bloquear la generación de información psicológicamente manipuladora, inapropiada o engañosa. 3. Crear programas de *alfabetización en IA* mandatorios y continuos para el personal asistencial y los cuidadores, enfocados en comprender las capacidades, limitaciones y sesgos potenciales de la tecnología. Fomentar el *diseño centrado en el ser humano* involucrando activamente a los usuarios finales (ancianos y representantes de niños) en el desarrollo para asegurar que la tecnología se alinee con sus necesidades y valores.