Tipo 3: Peor de lo esperado
La Inteligencia Artificial concebida para generar un impacto social a gran escala corre el riesgo de resultar perjudicial de forma inadvertida. Esto se ejemplifica en un producto popular que, si bien resuelve parcialmente problemas específicos para sus usuarios, simultáneamente genera o agrava otros a un nivel sistémico.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit03
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Prioridad Alta: Implementar un régimen exhaustivo de pruebas de adversidad (adversarial testing) y evaluaciones de vulnerabilidad del modelo previo al despliegue. Esto es crucial para fortalecer la resiliencia del sistema frente a fallos inesperados y manipulaciones de entrada, abordando directamente la falta de robustez en escenarios operacionales complejos. 2. Prioridad Media: Establecer una estrategia formal de gobernanza de IA que defina políticas, procesos y estructuras de rendición de cuentas (accountability) claras. Este marco debe incluir el mantenimiento de registros de auditoría y *logs* detallados de las decisiones y comportamientos del sistema para garantizar la trazabilidad y la revisión *post-mortem* de incidentes perjudiciales. 3. Prioridad Media: Instaurar mecanismos de monitoreo continuo y en tiempo real del rendimiento del modelo, la equidad y los *outputs* en el entorno operativo. Esta práctica es indispensable para detectar y mitigar prontamente la degradación del rendimiento por la deriva de concepto (*concept drift*) o fallos funcionales inadvertidos posteriores al despliegue.
EVIDENCIA ADICIONAL
El propósito fundamental detrás del desarrollo de nuevas tecnologías de IA suele ser la generación de un impacto positivo y a gran escala en la sociedad. Sin embargo, una categoría crítica de riesgo sistémico emerge precisamente de estas intervenciones de gran magnitud que, pese a su buena intención inicial, terminan desviándose o produciendo resultados perjudiciales.