Salud y bienestar disminuidos
La compleja definición de riesgos de la seguridad de la IA que nos ocupa se puede desglosar en tres categorías de daño algorítmico con impacto directo en el individuo: - Explotación Psicológica y Emocional: Se trata del diseño algorítmico que va más allá de la persuasión, empleando el análisis de datos privados para identificar las vulnerabilidades psicológicas específicas del usuario. El objetivo es desplegar contenido hiper-dirigido para manipular el comportamiento, aumentar el 'engagement' y la retención en la plataforma, incluso cuando esto resulte en consecuencias negativas para el estado mental del individuo. - Fallos de Seguridad en Sistemas Físicos: Esto concierne a los riesgos de seguridad en el mundo real, donde un fallo en el algoritmo que controla una máquina o un sistema puede provocar daños físicos tangibles. El ejemplo paradigmático es el de las colisiones o accidentes causados por la toma de decisiones erróneas en sistemas autónomos. - Inferencias Críticas de Salud Incorrectas: Sucede cuando los sistemas de inteligencia artificial (IA), utilizados para diagnóstico, predicción de riesgos o recomendación sanitaria, emiten juicios o conclusiones erróneas sobre la salud de una persona. Este error puede deberse a sesgos inherentes en los datos de entrenamiento y tiene la capacidad de conducir a la denegación inapropiada de atención médica o a diagnósticos equivocados.
ENTIDAD
2 - IA
INTENCIÓN
3 - Otro
TIEMPO
2 - Post-despliegue
ID del riesgo
mit150
Linea de dominio
5. Interacción Humano-Computadora
5.1 > Dependencia excesiva y uso inseguro
Estrategia de mitigacion
1. **Implementar un Marco de Gobernanza de la IA basado en Principios Éticos y de Equidad desde la Concepción** Exigir la integración de los principios de No Maleficencia y Justicia en la fase de diseño (*Privacy and Security by Design*). Esto incluye la **curación de datasets** para garantizar la diversidad, la representatividad y la mitigación activa del sesgo algorítmico, previniendo así las inferencias críticas de salud incorrectas y la denegación inequitativa de atención. Es fundamental establecer la **vigilancia del sesgo** como un requisito sistemático. 2. **Fomentar la Transparencia Algorítmica y la Agencia Humana (Autonomía)** Aumentar la **explicabilidad (XAI)** de los sistemas de IA de alto riesgo, particularmente aquellos que influyen en decisiones financieras, de salud o de seguridad. Paralelamente, invertir en la **educación del usuario (Inteligencia Emocional)** para cultivar la capacidad de reconocer y gestionar las tácticas de explotación y manipulación emocional (ej. disparadores de urgencia o miedo), asegurando que el individuo pueda ejercer un **control significativo** sobre su interacción con el sistema. 3. **Establecer un Sistema de Validación y Monitoreo Post-Despliegue Continuo** Crear un mecanismo robusto de **auditoría en tiempo real** para detectar fallas de seguridad operacional en sistemas físicos (e.g., errores de colisión en sistemas autónomos) y **fallas críticas en la sensibilidad algorítmica** que impacten el bienestar del usuario (e.g., publicidad hiper-dirigida tras un evento sensible). Este proceso debe garantizar la **trazabilidad** de las decisiones del modelo y permitir una corrección inmediata de las consecuencias adversas no anticipadas.
EVIDENCIA ADICIONAL
El testimonio de recibir publicidad de ropa de maternidad tras un aborto espontáneo ilustra una *falla crítica en la sensibilidad algorítmica*. Este incidente subraya el desafío de la *gobernanza de datos sensibles* en sistemas de recomendación. Demuestra la urgente necesidad de implementar mecanismos que permitan a los usuarios ejercer un *control significativo* sobre la información que alimenta estos modelos, asegurando que los objetivos del sistema no entren en conflicto con el bienestar humano, un eje central de la investigación en seguridad de la IA.