Daño causado por sistemas incompetentes

Mientras que el Desafío Prioritario (DP) #1 se enfoca en el rendimiento promedio o en el escenario ideal, el DP #2 se centra rigurosamente en el rendimiento en el peor de los casos. La pregunta central es la verificación: ¿cómo podemos asegurar que los sistemas de inteligencia artificial operen de manera segura y, fundamentalmente, cómo podemos probar esa seguridad? La implementación de sistemas de *Machine Learning* (ML) en dominios de alto riesgo —como la conducción, la medicina o incluso la defensa— es una realidad. Los riesgos son claros: sistemas inseguros pueden causar desde la pérdida de vidas hasta severos daños económicos y desestabilización social. La mayor preocupación radica en su susceptibilidad a los llamados "accidentes normales", que desencadenan errores en cascada notoriamente difíciles de mitigar simplemente manteniendo un control nominal a través de un "humano en el bucle" (*human in the loop*). De hecho, la fiabilidad de los modelos ML más avanzados está significativamente por debajo de los estándares habituales en disciplinas de ingeniería. Puesto que aún no comprendemos a cabalidad el mecanismo subyacente por el cual los sistemas de vanguardia alcanzan sus resultados, permanecemos incapacitados para detectar y, por consiguiente, prevenir sus modos operativos peligrosos.