Riesgos de datos (Anotación no regulada)
Los inconvenientes en la anotación de los datos de entrenamiento —como directrices incompletas, la inexperiencia de los anotadores o los errores inherentes al proceso— comprometen seriamente la precisión, la fiabilidad y la eficacia de los modelos de inteligencia artificial. Además, estas fallas pueden inadvertidamente introducir o amplificar sesgos de entrenamiento que perpetúan la discriminación, reducen significativamente la capacidad de los algoritmos para generalizar el conocimiento a nuevos contextos y, como consecuencia directa, provocan resultados incorrectos.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
1 - Pre-despliegue
ID del riesgo
mit650
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
- Establecer y mantener Directrices de Anotación de Datos inequívocas y de alta granularidad. Es imperativo que estas directrices sean validadas por expertos en la materia y ratificadas mediante sesiones de calibración (calibration sessions) para garantizar una interpretación unificada y la consistencia (Inter-Annotator Agreement) entre todos los participantes del proceso de etiquetado. - Implementar programas de Formación y Certificación Continua para los anotadores, haciendo hincapié en la conciencia sobre sesgos potenciales y el manejo adecuado de los casos de borde (edge cases). Esta formación debe complementarse con mecanismos de incentivos que prioricen la exactitud (accuracy) sobre la velocidad para reducir el trabajo apresurado y propenso a errores. - Desarrollar e integrar flujos de trabajo de Control de Calidad Sistemático, incluyendo la doble anotación (Double Annotation) con adjudicación de discrepancias, el uso de herramientas automatizadas (AI-powered pre-labeling) para la detección de inconsistencias y sesgos, y auditorías periódicas del conjunto de datos. Este proceso debe establecer métricas claras para la trazabilidad (traceability) de las anotaciones.