Dificultad para desarrollar métricas de beneficios/daños de asistentes IA
Uno de los desafíos fundamentales en el diseño de asistentes de IA radica en la compleja tarea de establecer métricas objetivas. Es particularmente difícil cuantificar los beneficios o perjuicios específicos que un sistema de asistencia podría generar, sobre todo cuando se considera su impacto a una escala lo suficientemente amplia, abarcando amplios segmentos de la sociedad. La disponibilidad de estos indicadores resulta esencial no solo para una evaluación rigurosa del riesgo inherente al sistema, sino también para constituir una señal de retroalimentación crítica que optimice su proceso de entrenamiento.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit337
Linea de dominio
6. Socioeconómico y Ambiental
6.5 > Fallo de gobernanza
Estrategia de mitigacion
1. Implementar un Marco de Gestión de Riesgos de IA (por ejemplo, NIST AI RMF) para establecer estructuras claras de rendición de cuentas y supervisión. Paralelamente, definir y aplicar un conjunto de Indicadores Clave de Desempeño (KPIs) de gobernanza que trasciendan la métrica de desempeño técnico, enfocándose en la equidad (desviación de imparcialidad), la transparencia (cobertura de explicaciones), y la intervención humana (tasa de anulación/supervisión). 2. Establecer protocolos rigurosos de validación de datos y selección de métricas para identificar y mitigar el sesgo sistémico incrustado. Esto incluye la evaluación crítica de si las métricas elegidas son un *proxy* de un sesgo social o de un resultado deseado (como se observa en el uso de costes sanitarios como indicador de necesidad de atención), integrando la perspectiva de científicos sociales y equipos de desarrollo diversos. 3. Integrar métricas de evaluación centradas en el ser humano que capturen el impacto cualitativo y la percepción del usuario, como la satisfacción del usuario (CSAT), la utilidad/pertinencia y la interpretabilidad, para complementar las mediciones técnicas. Además, medir la tasa de intervención humana y el tiempo de detección de incidentes (por ejemplo, fallos o derivas del modelo) para garantizar una supervisión continua y una respuesta rápida a los daños no cuantificados automáticamente.