Riesgo de Lesión
Los sistemas inteligentes, si están deficientemente diseñados o implementados, conllevan el riesgo de causar daños profundos que abarcan las esferas moral, psicológica y física. Como ilustración, la aplicación de herramientas de policía predictiva puede exacerbar sesgos sistémicos, conduciendo a un aumento desproporcionado de detenciones o a un incremento del riesgo de sufrir daño físico por parte de las fuerzas de seguridad en ciertos colectivos.
ENTIDAD
1 - Humano
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit127
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
- Implementar un Marco de Evaluación de Impacto de la IA (AIA) con el objetivo de realizar auditorías algorítmicas continuas y sistemáticas de los sistemas, focalizando en la detección y mitigación de sesgos en los datos de entrenamiento y en los resultados del modelo que puedan conducir a una discriminación injusta o a un impacto desproporcionado en colectivos vulnerables. - Establecer mecanismos de monitoreo en tiempo real del rendimiento del sistema y sus consecuencias, incluyendo la implementación de un sistema de reporte y análisis de causas raíz para cualquier incidente o error que resulte en daño físico, psicológico o moral a las personas, con métricas específicas sobre la equidad de los resultados. - Desarrollar protocolos de gobernanza que definan roles y responsabilidades claras, junto con la implementación de capacitación crítica para los usuarios humanos. El objetivo es evitar la confianza excesiva en las decisiones del sistema y asegurar que el personal esté cualificado para ejercer la supervisión, la anulación justificada de las sugerencias del sistema y la comprensión de sus limitaciones.