Des chercheurs de l'Université Carnegie Mellon ont développé une méthode qui permet aux appareils intelligents de savoir où ils se trouvent et ce que les gens font autour d'eux en analysant les sons de leurs microphones Crédit :Université Carnegie Mellon
Les appareils intelligents peuvent sembler stupides s'ils ne comprennent pas où ils se trouvent ou ce que font les gens autour d'eux. Des chercheurs de l'Université Carnegie Mellon affirment que cette conscience environnementale peut être renforcée par des méthodes complémentaires d'analyse du son et des vibrations.
"Un haut-parleur intelligent posé sur un plan de travail de cuisine ne peut pas savoir s'il se trouve dans une cuisine, encore moins savoir ce qu'une personne fait dans une cuisine, " a déclaré Chris Harrison, professeur assistant à l'Institut d'Interaction Homme-Machine (HCII) de la CMU. "Mais si ces appareils comprenaient ce qui se passait autour d'eux, ils pourraient être beaucoup plus utiles."
Harrison et ses collègues du Future Interfaces Group présenteront aujourd'hui, lors du Symposium sur les logiciels et technologies d'interface utilisateur de l'Association for Computing Machinery à Berlin, deux approches de ce problème :l'une qui utilise le plus omniprésent des capteurs, le micro, et un autre qui utilise une version moderne de la technologie d'écoute clandestine utilisée par le KGB dans les années 1950.
Dans le premier cas, les chercheurs ont cherché à développer un système de reconnaissance d'activité basé sur le son, appelé Ubicoustique. Ce système utiliserait les microphones existants dans les haut-parleurs intelligents, smartphones et montres connectées, leur permettant de reconnaître les sons associés aux lieux, comme les chambres à coucher, cuisines, ateliers, entrées et bureaux.
Les chercheurs de l'Université Carnegie Mellon utilisent la vibrométrie laser - une méthode similaire à celle utilisée autrefois par le KGB pour l'écoute clandestine - pour surveiller les vibrations et les mouvements d'objets, permettant aux appareils intelligents d'être au courant de l'activité humaine. Crédit :Université Carnegie Mellon
"L'idée principale ici est de tirer parti des bibliothèques d'effets sonores professionnelles généralement utilisées dans l'industrie du divertissement, " dit Gierad Laput, un doctorat étudiant en HCII. "Ils sont propres, correctement étiqueté, bien segmenté et diversifié. Plus, nous pouvons les transformer et les projeter dans des centaines de variations différentes, créant des volumes de données parfaits pour la formation de modèles d'apprentissage en profondeur.
"Ce système pourrait être déployé sur un appareil existant en tant que mise à jour logicielle et fonctionner immédiatement, " il ajouta.
Le système plug-and-play peut fonctionner dans n'importe quel environnement. Il pourrait alerter l'utilisateur lorsque quelqu'un frappe à la porte d'entrée, par exemple, ou passer à l'étape suivante d'une recette lorsqu'elle détecte une activité, comme faire fonctionner un mélangeur ou hacher.
Les chercheurs, dont Karan Ahuja, un doctorat étudiant en HCII, et Mayank Goel, professeur assistant à l'Institut de recherche en logiciels, a commencé avec un modèle existant d'étiquetage des sons et l'a réglé à l'aide d'effets sonores des bibliothèques professionnelles, tels que les appareils de cuisine, outils électroportatifs, sèche-cheveux, claviers et autres sons spécifiques au contexte. Ils ont ensuite modifié synthétiquement les sons pour créer des centaines de variations.
Laput a déclaré que reconnaître les sons et les placer dans le bon contexte est un défi, en partie parce que plusieurs sons sont souvent présents et peuvent interférer les uns avec les autres. Dans leurs tests, L'ubicoustique avait une précision d'environ 80 %—compétitive avec la précision humaine, mais pas encore assez bon pour prendre en charge les applications utilisateur. De meilleurs micros, des taux d'échantillonnage plus élevés et des architectures de modèles différentes pourraient tous augmenter la précision avec des recherches plus poussées.
Une vidéo expliquant l'ubicoustique :
Dans un document séparé, Doctorat HCII étudiant Yang Zhang, avec Laput et Harrison, décrire ce qu'ils appellent Vibrosight, qui peut détecter des vibrations à des endroits spécifiques dans une pièce à l'aide de la vibrométrie laser. Il est similaire aux appareils à base de lumière que le KGB utilisait autrefois pour détecter les vibrations sur les surfaces réfléchissantes telles que les fenêtres, leur permettant d'écouter les conversations qui ont généré les vibrations.
"Ce qui est cool avec les vibrations, c'est qu'elles sont un sous-produit de la plupart des activités humaines, " dit Zhang. Courir sur un tapis roulant, frapper un marteau ou taper sur un clavier créent des vibrations qui peuvent être détectées à distance. "L'autre chose intéressante, c'est que les vibrations sont localisées sur une surface, " a-t-il ajouté. Contrairement aux micros, les vibrations d'une activité n'interfèrent pas avec les vibrations d'une autre. Et contrairement aux microphones et caméras, la surveillance des vibrations à des endroits précis rend cette technique discrète et préserve l'intimité.
Cette méthode nécessite un capteur spécial, un laser de faible puissance associé à un moteur, miroir orientable. Les chercheurs ont construit leur dispositif expérimental pour environ 80 $. Des tags réfléchissants, le même matériau utilisé pour rendre les vélos et les piétons plus visibles la nuit, sont appliqués sur les objets à surveiller. Le capteur peut être monté dans un coin d'une pièce et peut surveiller les vibrations de plusieurs objets.
Zhang a déclaré que le capteur peut détecter si un appareil est allumé ou éteint avec une précision de 98% et identifier l'appareil avec une précision de 92%. en fonction du profil de vibration de l'objet. Il peut également détecter le mouvement, comme celle d'une chaise quand quelqu'un s'y assoit, et il sait quand quelqu'un a bloqué la vue du capteur d'une étiquette, comme lorsque quelqu'un utilise un évier ou une douche oculaire.
Une vidéo expliquant Vibrosight :
