Sistemas rotos
Estos son los casos más recurrentes y se centran en situaciones donde el algoritmo o los datos de entrenamiento producen resultados poco fiables. Con frecuencia, estos sistemas asignan un peso desproporcionado a variables sensibles como la raza o el género, pero la falta de transparencia imposibilita impugnar estas decisiones. Estas situaciones solo suelen salir a la luz tras ser examinadas por reguladores o la prensa mediante leyes de libertad de información, a pesar de que el daño que causan en la vida de las personas puede ser dramático: desde la pérdida de vivienda y divorcios hasta procesos judiciales o encarcelamiento. Más allá de los fallos técnicos inherentes, los auditores también señalan la "insuficiente coordinación" entre desarrolladores y usuarios como una causa del descuido de las consideraciones éticas. Esta realidad subraya la necesidad de mejorar la educación de los futuros creadores de sistemas infundidos con IA, no solo en competencias técnicas (requisitos, algoritmos y entrenamiento) sino también en ética y responsabilidad. Un ejemplo claro son los dilemas morales que surgen con el aumento de vehículos autónomos en escenarios de accidente potencial, como demostró el experimento del MIT. Las decisiones sobre cómo deben actuar estas máquinas dividen la opinión y exigen una profunda reflexión y, posiblemente, regulación.
ENTIDAD
2 - IA
INTENCIÓN
2 - Involuntario
TIEMPO
2 - Post-despliegue
ID del riesgo
mit57
Linea de dominio
1. Discriminación y Toxicidad
1.1 > Discriminación injusta y tergiversación
Estrategia de mitigacion
1. Priorizar la implementación de la Explicabilidad Algorítmica (XAI) para garantizar la transparencia de los sistemas. Se requiere el desarrollo de mecanismos robustos que permitan a los auditores y a los afectados comprender la lógica de decisión del modelo, identificando las variables de alta ponderación (e.g., raza, género) y permitiendo la impugnación efectiva de resultados desfavorables. 2. Instituir un protocolo de auditoría de sesgos y equidad que incluya la validación rigurosa de los conjuntos de datos de entrenamiento y la evaluación continua del rendimiento del sistema en subgrupos demográficos. Esta acción debe asegurar que el sistema cumple con métricas de equidad predefinidas para prevenir y corregir resultados discriminatorios e irrepresentativos. 3. Establecer un marco de gobernanza de IA que exija la coordinación interdisciplinaria obligatoria entre los desarrolladores, los usuarios finales y especialistas en ética. Este marco debe incluir la capacitación formal en ética, responsabilidad y consecuencias sociales de la IA para los equipos técnicos, subsanando la "insuficiente coordinación" señalada como causa raíz.