Hauptmann a déclaré qu'il avait utilisé son expertise en analyse vidéo pour aider les enquêteurs à analyser des événements tels que le massacre de Maidan en 2014 en Ukraine, qui a fait au moins 50 morts parmi les manifestants antigouvernementaux. Inspiré par ce travail et la perspicacité des experts en balistique et des collègues architectes du cabinet SITU Research-Hauptmann, Aronson et Junwei Liang, un doctorat étudiant en langues et technologies de l'information, ont réuni plusieurs technologies de traitement vidéo, tout en automatisant au maximum leur utilisation.

VERA utilise des techniques d'apprentissage automatique pour synchroniser les flux vidéo et calculer la position de chaque caméra en fonction de ce que cette caméra voit. Mais c'est l'audio des flux vidéo qui est essentiel pour localiser la source des coups de feu, dit Hauptmann. Spécifiquement, le système regarde le délai entre la fissure causée par l'onde de choc d'une balle supersonique et le souffle de la bouche, qui voyage à la vitesse du son. Il utilise également l'audio pour identifier le type d'arme utilisé, qui détermine la vitesse des balles. VERA peut alors calculer la distance du tireur par rapport au smartphone.

"Quand nous avons commencé, on ne pensait pas qu'on pouvait détecter le crack avec un smartphone car c'est vraiment court, " a déclaré Hauptmann. " Mais il s'avère que les microphones des téléphones portables d'aujourd'hui sont plutôt bons. "

En utilisant la vidéo de trois smartphones ou plus, la direction à partir de laquelle les coups de feu ont été tirés et l'emplacement du tireur peuvent être calculés en fonction des différences de temps qu'il faut à l'explosion de la bouche pour atteindre chaque caméra.

Avec la prolifération des manifestations de masse se produisant dans des endroits comme Hong Kong, l'Egypte et l'Irak, identifier l'origine d'un coup de feu peut être essentiel pour déterminer si les manifestants, la police ou d'autres groupes pourraient être responsables lorsqu'une fusillade a lieu, dit Aronson.

Mais VERA ne se limite pas à détecter les coups de feu. Il s'agit d'un système d'analyse d'événements qui peut être utilisé pour localiser une variété d'autres sons pertinents pour les enquêtes sur les droits de l'homme et les crimes de guerre, il a dit. Lui et Hauptmann espèrent que d'autres groupes ajouteront des fonctionnalités au logiciel open source.

"Une fois que c'est open source, les communautés du journalisme et des droits de l'homme peuvent s'en inspirer d'une manière dont nous n'avons pas l'imagination ou le temps pour le faire, " Aronson ajouté.