Consejo generado por IA influyendo en el juicio moral del usuario
Los sistemas de inteligencia artificial demuestran una notable facilidad para generar recomendaciones de índole moral. Sin embargo, esta capacidad no se correlaciona con la posesión de un marco ético interno que sea coherente o exento de contradicciones. La preocupación fundamental radica en el potencial de que la naturaleza aleatoria o arbitraria de este "asesoramiento" artificial mine o influya negativamente en la formación y estabilidad de los juicios morales de los usuarios.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit1050
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Implementar rigurosos mecanismos de Supervisión Humana y Determinación ("Human-in-the-Loop") para todas las interacciones con potencial de impacto en el juicio moral. El diseño del sistema debe asegurar que la responsabilidad moral final y la capacidad de juicio (phronesis) residan inequívocamente en el agente humano, y que el consejo generado por la IA sirva únicamente como un insumo analítico y no como una directriz de comportamiento ético. 2. Maximizar la Transparencia y Literacia del usuario mediante la comunicación explícita y no ambigua sobre la naturaleza no-moral del sistema. Se debe informar al usuario sobre las limitaciones intrínsecas del modelo para ejercer un juicio ético coherente o poseer conciencia moral, previniendo de esta forma la Dependencia Excesiva y las expectativas irreales sobre la validez del asesoramiento. 3. Desarrollar e incorporar un "Diseño Ético" (*Ethical Design*) que integre la Alineación de Valores mediante principios morales formales (*top-down*) durante la fase de entrenamiento y refinamiento. Esto busca incrementar la coherencia y consistencia interna de las respuestas generadas, minimizando la emisión de consejos percibidos como arbitrarios o contradictorios, que son los que tienen mayor potencial para influir negativamente en la estabilidad del juicio moral del usuario.