Le frère de Kassem Fawaz était en visioconférence avec le microphone en sourdine lorsqu'il a remarqué que la lumière du microphone était toujours allumée, indiquant, inexplicablement, que son microphone était en cours d'accès.

Alarmé, il a demandé à Fawaz, expert en confidentialité en ligne et professeur adjoint de génie électrique et informatique à l'Université du Wisconsin-Madison, de se pencher sur la question.

Fawaz et l'étudiant diplômé Yucheng Yang ont cherché à savoir si ce phénomène "micro éteint-lumière allumée" était plus répandu. Ils ont essayé de nombreuses applications de visioconférence différentes sur les principaux systèmes d'exploitation, y compris iOS, Android, Windows et Mac, en vérifiant si les applications accédaient toujours au microphone lorsqu'il était coupé.

"Il s'avère que, dans la grande majorité des cas, lorsque vous vous mettez en sourdine, ces applications ne renoncent pas à l'accès au microphone", explique Fawaz. "Et c'est un problème. Lorsque vous êtes en sourdine, les gens ne s'attendent pas à ce que ces applications collectent des données."

Après leurs premiers tests, Fawaz et Yang, ainsi que des collègues de l'Université Loyola de Chicago, ont mené une enquête plus formelle sur ce qui se passe lorsque les microphones des logiciels de visioconférence sont coupés. Ils présenteront leurs résultats lors du symposium Privacy Enhancing Technologies en juillet.

Tout d'abord, l'équipe a mené une étude auprès des utilisateurs, demandant à 223 utilisateurs d'applications de visioconférence comment ils comprenaient la fonction du bouton de sourdine et comment ils pensaient qu'il devrait gérer les données audio. Alors que les participants étaient divisés quant à savoir s'ils pensaient que les applications de chat accédaient à leurs microphones lorsqu'ils étaient en mode silencieux, la plupart pensaient que les applications ne devraient pas être en mesure de collecter des données lorsqu'elles sont désactivées.

Pour la deuxième partie de l'étude, l'équipe a étudié le comportement réel du bouton de désactivation du son sur de nombreuses applications populaires, en déterminant le type de données collectées et si elles pouvaient révéler des informations personnelles.

Ils ont utilisé des outils d'analyse binaire d'exécution pour tracer l'audio brut dans les applications de visioconférence populaires pendant que l'audio se déplaçait de l'application vers le pilote audio de l'ordinateur, puis vers le réseau pendant que l'application était désactivée.

Ils ont constaté que toutes les applications qu'ils ont testées recueillent occasionnellement des données audio brutes lorsque la sourdine est activée, une application populaire recueillant des informations et transmettant des données à son serveur au même débit, que le microphone soit coupé ou non.

Les chercheurs ont alors décidé de voir s'ils pouvaient utiliser les données collectées en mode silencieux à partir de cette application pour déduire les types d'activités se déroulant en arrière-plan. À l'aide d'algorithmes d'apprentissage automatique, ils ont formé un classificateur d'activités à l'aide de l'audio de vidéos YouTube représentant six activités de fond courantes, notamment cuisiner et manger, jouer de la musique, taper et nettoyer. En appliquant le classificateur au type de paquets de télémétrie que l'application envoyait, l'équipe a pu identifier l'activité en arrière-plan avec une précision moyenne de 82 %.

"Lorsque vous cuisinez, la signature acoustique est différente de celle de quelqu'un qui conduit ou regarde une vidéo", explique Fawaz. "Ainsi, ces types d'activités peuvent être distingués simplement sur la base de cette empreinte acoustique qui a été réellement envoyée dans le cloud."

Que les données soient consultées ou utilisées ou non, les résultats soulèvent des problèmes de confidentialité.

"Avec une caméra, vous pouvez l'éteindre ou même mettre votre main dessus, et quoi que vous fassiez, personne ne peut vous voir", explique Fawaz. "Je ne pense pas que cela existe pour les microphones."

La désactivation d'un microphone est possible dans la plupart des systèmes d'exploitation des appareils, mais cela signifie généralement naviguer dans plusieurs menus. Au lieu de cela, l'équipe suggère que la solution pourrait résider dans le développement de "commutateurs" logiciels facilement accessibles ou même de commutateurs matériels permettant aux utilisateurs d'activer et de désactiver manuellement leurs microphones.