Kurt Luther, Virginia Tech professeur assistant d'informatique, a développé une plate-forme logicielle gratuite qui utilise le crowdsourcing pour augmenter considérablement la capacité des algorithmes à identifier les visages sur les photos.

Grâce à la plate-forme logicielle, appelé Photo Sleuth, Luther cherche à percer les mystères des près de 4 millions de photographies d'images de l'époque de la guerre civile qui peuvent exister dans les archives historiques.

Luther présentera ses recherches autour de la plate-forme Photo Sleuth le 19 mars à la conférence Intelligent User Interfaces de l'Association for Computing Machinery à Los Angeles, Californie. Il fera également une démonstration de Photo Sleuth lors de l'inauguration du musée agrandi de la guerre de Sécession, à Richmond, Virginie, le 4 mai, 2019.

Luther, lui-même passionné d'histoire, a été inspiré pour développer le logiciel pour Civil War Photo Sleuth en 2013 lors de la visite de l'exposition du Heinz History Center intitulée "Pennsylvania's Civil War" à Pittsburgh, Pennsylvanie. Là, il est tombé sur un portrait d'Oliver Croxton datant de la guerre de Sécession, son arrière-arrière-arrière-oncle qui a servi dans la Compagnie E du 134th Pennsylvania, vêtu d'un uniforme de caporal.

"Voir mon parent éloigné me regarder était comme voyager dans le temps, ", a déclaré Luther. "Les photos historiques peuvent nous en dire beaucoup sur non seulement notre propre histoire familiale, mais aussi informer le dossier historique de l'époque plus largement que la simple lecture de l'événement dans un livre d'histoire."

Le projet Photo Sleuth de la guerre civile, financé principalement par la National Science Foundation, a été officiellement lancé en tant que plate-forme Web aux Archives nationales de Washington, D.C., le 1er août 2018, et permet aux utilisateurs de télécharger des photos, étiquetez-les avec des repères visuels, et connectez-les aux profils de soldats de la guerre civile avec des enregistrements détaillés de l'histoire militaire. La base de données de référence initiale de Photo Sleuth contenait plus de 15, 000 portraits de soldats de la guerre de Sécession identifiés à partir de sources du domaine public telles que l'Institut d'histoire militaire des États-Unis et d'autres collections privées.

Avant le lancement officiel du projet en août, la plate-forme logicielle a remporté les 25 $, 000 Microsoft Cloud AI Research Challenge et le Best Demo Award lors de la conférence Human Computation and Crowdsourcing 2018 à Zurich, La Suisse, pour Luther et son équipe, qui comprend des collaborateurs universitaires et historiques, le Virginia Center for Civil War Studies, et le magazine Images militaires.

Selon Luther, la clé du succès post-lancement du site a été la capacité de créer une solide communauté d'utilisateurs. Plus de 600 utilisateurs ont contribué plus de 2, 000 photos de la guerre civile sur le site Web au cours du premier mois suivant le lancement, et environ la moitié de ces photos n'étaient pas identifiées. Plus de 100 de ces photos inconnues étaient liées à des soldats spécifiques, et une analyse d'experts a révélé que plus de 85 pour cent de ces identifications proposées étaient probablement ou certainement correctes. Présentement, la base de données est passée à plus de 4, 000 utilisateurs enregistrés et plus de 8, 000 photos.

"Typiquement, la recherche participative comme celle-ci est difficile pour les novices si les utilisateurs n'ont pas de connaissances spécifiques sur le sujet, " a déclaré Luther. " Le processus étape par étape de marquage d'indices visuels et d'application de filtres de recherche liés aux dossiers de service militaire rend ce travail de détective plus accessible, même pour ceux qui n'ont peut-être pas une connaissance plus approfondie de l'histoire militaire de la guerre civile."

Les tâches d'identification de personnes peuvent être difficiles dans des bassins de candidats plus importants, car le risque de faux positifs est plus élevé. La nouvelle approche derrière Civil War Photo Sleuth est basée sur l'analogie de trouver une aiguille dans une botte de foin. Le pipeline de données a trois composants liés à la botte de foin :la construction de la botte de foin, rétrécir la botte de foin, et trouver l'aiguille dans la botte de foin. Lorsqu'ils sont combinés, ils permettent aux utilisateurs d'identifier des soldats inconnus tout en réduisant le risque de faux positifs.

La construction de la botte de foin se fait en incitant les utilisateurs à télécharger des images numérisées du recto et du verso des photos de la guerre civile. Chaque fois qu'un utilisateur télécharge une photo pour l'identifier, la photo est ajoutée aux archives numériques du site ou "meule de foin, " le rendant disponible pour de futures recherches.

Après le téléchargement, l'utilisateur balise les métadonnées liées à la photographie telles que le format photo ou les inscriptions, ainsi que des indices visuels, comme la couleur du pelage, chevrons, bretelles, insigne de col, et insignes de chapeau. Ces balises sont liées à des filtres de recherche pour prioriser les correspondances les plus probables. Par exemple, un soldat étiqueté avec l'insigne de chapeau "corne de chasse" suggérerait des matchs potentiels qui ont servi dans l'infanterie, tout en cachant les résultats de la cavalerie ou de l'artillerie. Prochain, le site utilise une technologie de reconnaissance faciale de pointe pour éliminer les visages d'apparence très différente et trier les autres par similarité. Les étapes de marquage et de reconnaissance faciale affinent la botte de foin.

Finalement, les utilisateurs trouvent l'aiguille dans la botte de foin en explorant plus en détail les correspondances les plus probables. Un outil de comparaison avec des commandes de panoramique et de zoom aide les utilisateurs à inspecter soigneusement une correspondance possible et, s'ils décident que c'est un match, relier la photo jusque-là inconnue à sa nouvelle identité et à ses détails biographiques.

Les archives militaires utilisées par les filtres proviennent d'une myriade de sources publiques, y compris la base de données des soldats et marins du National Park Service.

Retracer des photos historiques de la guerre civile grâce à un logiciel de reconnaissance faciale comme Photo Sleuth a de larges applications au-delà de l'identification de photos historiques, trop. Le logiciel a le potentiel de générer de nouvelles façons de penser à la création de systèmes d'identification de personnes qui vont au-delà de la reconnaissance faciale et tirent parti des forces complémentaires de l'intelligence humaine et artificielle.