Seguridad (Safety)
Define el riesgo inherente de que la interacción con un Sistema de Inteligencia Artificial ocasione un daño o perjuicio, directo o indirecto, de naturaleza física o psicológica.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit198
Linea de dominio
7. Seguridad, Fallos y Limitaciones del Sistema de IA
7.3 > Falta de capacidad o robustez
Estrategia de mitigacion
1. Establecer **mecanismos de anulación y reversión** (rollback) que permitan la intervención humana oportuna para asumir o recuperar el control del sistema ante comportamientos anómalos o decisiones críticas, como parte de un enfoque de **supervisión escalable y robustez** del modelo. 2. Realizar **auditorías de sesgo algorítmico** de manera continua sobre los datos de entrenamiento y los resultados del modelo, implementando **técnicas de corrección** (re-ponderación o re-muestreo) para asegurar la equidad y prevenir daños psicológicos o médicos derivados de un rendimiento sesgado. 3. Implementar un sistema de **monitoreo continuo (24/7)** del comportamiento del sistema y de los resultados, complementado con la **revisión y validación humana** (human-in-the-loop) de las salidas críticas para mitigar riesgos de contenido tóxico y garantizar la confianza y seguridad del usuario.
EVIDENCIA ADICIONAL
Por su propia naturaleza, los sistemas de Aprendizaje Automático (ML) restan cierto grado de control a sus usuarios al automatizar tareas. Esta transferencia de control, lógicamente, debería ir acompañada de una transferencia de responsabilidad moral en cuanto a la seguridad del usuario. Por lo tanto, una preocupación central en torno a los sistemas de ML ha sido garantizar la seguridad física y psicológica de las comunidades afectadas. En aplicaciones como la moderación de contenido, mantener el sistema actualizado a menudo requiere el etiquetado y la curación manual a gran escala de contenido tóxico o gráfico por parte de trabajadores subcontratados. La exposición prolongada a este material provoca un daño psicológico que debe considerarse al evaluar el riesgo de seguridad de estos sistemas. Los riesgos de primer orden pueden traducirse en peligro de seguridad de diversas maneras. Por ejemplo, una baja precisión puede llevar a un sistema a no reconocer a un peatón y atropellarlo. Un identificador de melanoma entrenado con datos insuficientemente diversos podría resultar en quimioterapia innecesaria. O bien, los sistemas de ML enjambre pueden poner en peligro a los agentes humanos al coordinar maniobras a alta velocidad, haciendo que las condiciones del tráfico sean inseguras para los vehículos tradicionales. Adicionalmente, la incapacidad de asumir o recuperar el control a tiempo también puede aumentar el riesgo de seguridad, como ocurre al intentar anular un arma autónoma antes de que dispare por error a un civil.