Riesgo por Diseño Antropomórfico de Asistente de IA
Aunque es improbable que cause daño por sí mismo, el percibir a los asistentes avanzados de Inteligencia Artificial con cualidades humanas (lo que se conoce como antropomorfismo) puede sentar las bases para una serie de problemas o "daños colaterales" a nivel individual y social. Este trabajo documenta los riesgos concretos, ya sean observados o probables, que surgen al interactuar con IA muy humanizadas. Además, analiza las posibles implicaciones a gran escala que afectarían a la sociedad en su conjunto si se permite que este tipo de tecnologías se expandan sin la debida restricción o control.
ENTIDAD
3 - Otro
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit365
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Integración Proactiva en el Diseño y GobernanzaImplementar metodologías de diseño responsable (Designing for Responsibility) que incorporen evaluaciones de impacto ético desde las fases iniciales del desarrollo. Esta medida debe asegurar la identificación y mitigación de los riesgos derivados de la antropomorfización, exigiendo la arquitectura de "guardrails" (barreras de seguridad) para prevenir la dependencia excesiva (overreliance) y el uso no seguro, especialmente en contextos de aprendizaje o toma de decisiones críticas. Es imperativo mantener la primacía del control humano (Human Oversight) sobre las capacidades del sistema.2. Regulación Estricta del Lenguaje del Agente y Estilo de InteracciónEstablecer directrices de diseño lingüístico que prohíban explícitamente el uso de pronombres de primera persona (p. ej., "yo") y verbos cognitivos o agentivos (p. ej., "saber", "pensar", "sentir", "creer") que simulen una mente o intencionalidad humana. El sistema debe adoptar un estilo de comunicación mecánista, neutral y basado en el proceso, utilizando términos como "el modelo de lenguaje" o "el sistema procesó" para disipar la percepción de conciencia.3. Transparencia Obligatoria y ContextualizadaExigir la divulgación explícita y permanente de la naturaleza no-humana del agente de IA, integrando esta información directamente en la interfaz de usuario para contrarrestar el Efecto ELIZA. Se debe prohibir que los agentes hagan afirmaciones falsas sobre sus capacidades, especialmente en áreas de alta sensibilidad como el apoyo psicológico o la salud mental, e implementar mecanismos obligatorios de detección de vulnerabilidad y derivación a profesionales humanos cuando se aborden temas de riesgo.