Les experts en reconnaissance des visages jouent souvent un rôle crucial dans les affaires pénales. Une photo prise par une caméra de sécurité peut signifier la prison ou la liberté pour un accusé - et le témoignage d'examinateurs de visage hautement qualifiés indique au jury si cette image représente réellement l'accusé. À quel point les experts en reconnaissance faciale sont-ils bons ? L'intelligence artificielle serait-elle utile ?

Une étude parue aujourd'hui dans le Actes de l'Académie nationale des sciences a apporté des réponses. Dans un travail qui combine la science médico-légale avec la psychologie et la recherche en vision par ordinateur, une équipe de scientifiques du National Institute of Standards and Technology (NIST) et de trois universités a testé l'exactitude des identifiants de visage professionnels, fournissant au moins une révélation qui a surpris même les chercheurs :les êtres humains formés fonctionnent mieux avec un ordinateur comme partenaire, pas une autre personne.

"Il s'agit de la première étude à mesurer la précision de l'identification des visages pour les examinateurs faciaux médico-légaux professionnels, travailler dans des circonstances qui s'appliquent à des cas réels, " a déclaré l'ingénieur en électronique du NIST, P. Jonathon Phillips. " Notre objectif plus profond était de trouver de meilleurs moyens d'augmenter la précision des comparaisons faciales médico-légales. "

L'effort de l'équipe a commencé en réponse à un rapport de 2009 du Conseil national de recherches, « Renforcer la science médico-légale aux États-Unis :une voie à suivre », qui soulignait la nécessité de mesurer l'exactitude des décisions des examinateurs médico-légaux.

L'étude du NIST est l'examen le plus complet à ce jour des performances d'identification des visages dans un groupe varié de personnes. L'étude examine également la meilleure technologie, comparer la précision des algorithmes de reconnaissance faciale de pointe à des experts humains.

Leur résultat de cette confrontation classique de l'humain contre la machine ? Ni l'un ni l'autre n'obtient les meilleurs résultats seuls. Une précision maximale a été obtenue grâce à une collaboration entre les deux.

"Les sociétés s'appuient sur l'expertise et la formation d'examinateurs faciaux médico-légaux professionnels, parce que leurs jugements sont considérés comme les meilleurs, " a déclaré la co-auteur Alice O'Toole, professeur de sciences cognitives à l'Université du Texas à Dallas. "Toutefois, nous avons appris que pour obtenir l'identification faciale la plus précise, nous devons combiner les forces des humains et des machines."

Les résultats arrivent à point nommé dans le développement de la technologie de reconnaissance faciale, qui progresse depuis des décennies, mais n'a atteint que très récemment une compétence proche de celle des humains les plus performants.

« Si nous avions fait cette étude il y a trois ans, les performances du meilleur algorithme informatique auraient été comparables à celles d'un étudiant moyen non formé, " Phillips a déclaré. "Aujourd'hui, des algorithmes de pointe sont aussi performants qu'un professionnel hautement qualifié."

L'étude elle-même a impliqué un total de 184 participants, un grand nombre pour une expérience de ce type. Quatre-vingt-sept étaient des examinateurs faciaux professionnels formés, tandis que 13 étaient des "super reconnaisseurs, " un terme impliquant une capacité naturelle exceptionnelle. Les 84 autres - les groupes de contrôle - comprenaient 53 examinateurs d'empreintes digitales et 31 étudiants de premier cycle, aucun d'entre eux n'avait de formation en comparaisons faciales.

Pour le test, les participants ont reçu 20 paires d'images de visage et ont évalué la probabilité que chaque paire soit la même personne sur une échelle de sept points. L'équipe de recherche a intentionnellement sélectionné des paires extrêmement difficiles, en utilisant des images prises avec un contrôle limité de l'éclairage, expression et apparence. Ils ont ensuite testé quatre des derniers algorithmes de reconnaissance faciale informatisés, tous développés entre 2015 et 2017, en utilisant les mêmes paires d'images.

Trois des algorithmes ont été développés par Rama Chellappa, professeur de génie électrique et informatique à l'Université du Maryland, et son équipe, qui a contribué à l'étude. Les algorithmes ont été formés pour fonctionner dans des situations générales de reconnaissance faciale et ont été appliqués sans modification aux ensembles d'images.

L'un des résultats n'était pas surprenant mais significatif pour le système judiciaire :les professionnels formés ont fait significativement mieux que les groupes de contrôle non formés. Ce résultat a établi la capacité supérieure des examinateurs formés, fournissant ainsi pour la première fois une base scientifique à leur témoignage devant le tribunal.

Les algorithmes se sont également bien acquittés, comme on pouvait s'y attendre de l'amélioration constante des performances des algorithmes au cours des dernières années.

Ce qui a soulevé les sourcils collectifs de l'équipe, c'est la performance de plusieurs examinateurs. L'équipe a découvert que la combinaison des opinions de plusieurs examinateurs médico-légaux n'apportait pas les résultats les plus précis.

"Nos données montrent que les meilleurs résultats proviennent d'un seul examinateur facial travaillant avec un seul algorithme le plus performant, " a déclaré Phillips. " Bien que la combinaison de deux examinateurs humains améliore la précision, ce n'est pas aussi bon que de combiner un examinateur et le meilleur algorithme."

La combinaison d'examinateurs et d'IA n'est actuellement pas utilisée dans les cas réels de médecine légale. Bien que cette étude n'ait pas explicitement testé cette fusion d'examinateurs et d'IA dans un tel environnement médico-légal opérationnel, les résultats fournissent une feuille de route pour améliorer la précision de l'identification des visages dans les futurs systèmes.

Alors que le projet de trois ans a révélé que les humains et les algorithmes utilisent des approches différentes pour comparer les visages, cela pose une question alléchante à d'autres scientifiques :quelle est la distinction sous-jacente entre l'approche humaine et l'approche algorithmique ?

« Si la combinaison des décisions de deux sources augmente la précision, alors cette méthode démontre l'existence de différentes stratégies, " Phillips a déclaré. "Mais cela n'explique pas en quoi les stratégies sont différentes."