Le professeur Lee (à l'extrême droite) fait une démonstration de « Knocker » avec ses étudiants. Crédit :KAIST
Une équipe KAIST a présenté une nouvelle technologie, "Heurtoir, " qui identifie les objets et exécute des actions juste en frappant dessus avec le smartphone. Logiciel alimenté par l'apprentissage automatique des sons, vibrations, et d'autres réactions exécuteront les instructions des utilisateurs.
Ce qui sépare Knocker de la technologie existante est la fusion sensorielle du son et du mouvement. Précédemment, l'identification d'objets utilisait soit la technologie de vision par ordinateur avec des caméras, soit du matériel tel que des étiquettes RFID (identification par radiofréquence). Ces solutions ont toutes leurs limites. Pour la technologie de vision par ordinateur, les utilisateurs doivent prendre des photos de chaque élément. Encore pire, la technologie ne fonctionnera pas bien dans des situations de faible éclairage. L'utilisation de matériel entraîne des coûts et des charges de travail supplémentaires.
Heurtoir, d'autre part, peut identifier des objets même dans des environnements sombres uniquement avec un smartphone, sans nécessiter de matériel spécialisé ni d'appareil photo. Knocker utilise les capteurs intégrés du smartphone tels qu'un microphone, un accéléromètre, et un gyroscope pour capturer un ensemble unique de réponses générées lorsqu'un smartphone est heurté contre un objet. L'apprentissage automatique est utilisé pour analyser ces réponses et classer et identifier les objets.
L'équipe de recherche dirigée par le professeur Sung-Ju Lee de la School of Computing a confirmé l'applicabilité de la technologie Knocker en utilisant 23 objets du quotidien tels que des livres, ordinateurs portables, bouteilles d'eau, et vélos. Dans des environnements bruyants comme un café animé ou au bord d'une route, il a atteint une précision d'identification de 83 %. Dans un environnement intérieur calme, la précision est passée à 98%.
Un exemple frapper sur une bouteille. Knocker identifie l'objet en analysant un ensemble unique de réponses du coup, et lance automatiquement une application ou un service approprié.
L'équipe pense que Knocker ouvrira un nouveau paradigme d'interaction d'objets. Par exemple, en frappant sur une bouteille d'eau vide, un smartphone peut commander automatiquement de nouvelles bouteilles d'eau depuis une application marchande. Lorsqu'il est intégré à des appareils IoT, frapper à la tête d'un lit avant de s'endormir peut éteindre les lumières et déclencher une alarme. L'équipe a suggéré et mis en œuvre 15 cas d'application dans le document, présenté lors de la conférence internationale conjointe ACM 2019 sur l'informatique omniprésente et ubiquitaire (UbiComp 2019) qui s'est tenue à Londres le mois dernier.
Le professeur Sung-Ju Lee a déclaré :« Cette nouvelle technologie ne nécessite aucun capteur ou matériel spécialisé. Elle utilise simplement les capteurs intégrés des smartphones et tire parti de la puissance de l'apprentissage automatique. C'est une solution logicielle dont les utilisateurs quotidiens de smartphones pourraient immédiatement bénéficier. Il a continué, "Cette technologie permet aux utilisateurs d'interagir facilement avec leurs objets préférés."
