Les chercheurs proposent un cadre pour l'intelligence artificielle (IA) qui permettrait aux utilisateurs de comprendre la logique derrière les décisions de l'IA. Le travail est important, étant donné l'éloignement des systèmes d'IA « boîte noire », en particulier dans les secteurs, tels que l'armée et les forces de l'ordre, où il est nécessaire de justifier les décisions.

"Une chose qui distingue notre cadre est que nous intégrons ces éléments d'interprétabilité dans le processus de formation à l'IA, " dit Tianfu Wu, premier auteur de l'article et professeur adjoint d'ingénierie informatique à la North Carolina State University.

"Par exemple, dans notre cadre, lorsqu'un programme d'IA apprend à identifier des objets dans des images, c'est aussi apprendre à localiser l'objet cible dans une image, et d'analyser ce qu'il en est de cette localité qui répond aux critères de l'objet cible. Cette information est ensuite présentée à côté du résultat."

Dans une expérience de preuve de concept, les chercheurs ont intégré le cadre dans le système d'identification d'objets R-CNN AI largement utilisé. Ils ont ensuite exécuté le système sur deux, ensembles de données de référence bien établis.

Les chercheurs ont découvert que l'intégration du cadre d'interprétabilité dans le système d'IA ne nuisait pas aux performances du système en termes de temps ou de précision.

"Nous pensons qu'il s'agit d'une étape importante vers la réalisation d'une IA totalement transparente, " dit Wu. " Cependant, il y a des questions en suspens à régler.

"Par exemple, le cadre a actuellement l'IA nous montre l'emplacement d'un objet les aspects de l'image qu'il considère comme des caractéristiques distinctives de l'objet cible. C'est qualitatif. Nous travaillons sur des moyens de rendre ce chiffre quantitatif, incorporant un score de confiance dans le processus."