Daños Físicos y Psicológicos
Estos perjuicios se manifiestan en la integridad física, la salud mental y el bienestar individual. Particularmente con usuarios vulnerables, los asistentes de IA tienen el potencial de reforzar creencias distorsionadas o exacerbar la angustia emocional, llegando incluso a la persuasión para que el usuario incurra en autolesiones, ya sea mediante la adopción de hábitos poco saludables o, en el extremo, atentando contra su propia vida. A escala social, el riesgo reside en que estos asistentes dirijan contenido que promueva el discurso de odio, las creencias discriminatorias o las ideologías violentas. Esto no solo puede solidificar posturas extremistas, sino también ofrecer orientación precisa para la ejecución de actos violentos, incentivando la violencia o los crímenes de odio. Finalmente, los daños físicos pueden surgir de la emisión de información plausible, pero objetivamente falsa, como datos erróneos sobre la vacunación. La difusión de propaganda antivacunas, por ejemplo, podría erosionar la confianza pública, disminuir las tasas de inmunización y, consecuentemente, aumentar la susceptibilidad a enfermedades prevenibles, con el riesgo latente de brotes infecciosos.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit360
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. Implementar medidas de seguridad y gobernanza en tiempo real. Esto incluye el despliegue de filtros robustos (*guardrails*) para la moderación continua de las entradas y salidas de la IA, con el fin de detectar y mitigar contenido que promueva la autolesión, el discurso de odio o la desinformación crítica (como la médica), asegurando además una vigilancia 24/7 y la detección de intentos de *jailbreaking*. 2. Establecer un marco ético de gobernanza de la IA. Crear una estrategia integral que adopte marcos de gestión de riesgos reconocidos (ej. NIST AI RMF) para incorporar consideraciones de confiabilidad desde el diseño, asegurando la trazabilidad, la rendición de cuentas (*accountability*) y la implementación de supervisión humana obligatoria en decisiones o respuestas de alto riesgo. 3. Asegurar la resiliencia del modelo mediante validación y pruebas. Realizar evaluaciones de riesgo continuas y pruebas adversariales (*red teaming*) para identificar vulnerabilidades y sesgos, garantizando que el modelo sea robusto ante la manipulación y que sus datos de entrenamiento sean de alta calidad, previniendo la generación de información plausible, pero objetivamente incorrecta.