Nous nous sommes habitués à ce que nos montres intelligentes et nos smartphones détectent ce que fait notre corps, que ce soit en marchant, conduire ou dormir. Mais qu'en est-il de nos mains ? Il s'avère que les montres connectées, avec quelques ajustements, peut détecter un nombre surprenant de choses que vos mains font.

Des chercheurs du Human-Computer Interaction Institute (HCII) de l'Université Carnegie Mellon ont utilisé une montre connectée standard pour déterminer quand un utilisateur tapait sur un clavier, faire la vaisselle, caresser un chien, verser dans un pichet ou couper avec des ciseaux.

En apportant quelques modifications au système d'exploitation de la montre, ils ont pu utiliser son accéléromètre pour reconnaître les mouvements de la main et, dans certains cas, sons bio-acoustiques associés à 25 activités manuelles différentes avec une précision d'environ 95 %. Et ces 25 activités ne sont que le début de ce qu'il est possible de détecter.

"Nous envisageons les montres intelligentes comme une tête de pont unique sur le corps pour capturer les riches, activités quotidiennes, " a déclaré Chris Harrison, maître de conférences au HCII et directeur du Future Interfaces Group. "Une grande variété d'applications pourraient être rendues plus intelligentes et plus contextuelles si nos appareils connaissaient l'activité de notre corps et de nos mains."

Harrison et HCII Ph.D. l'étudiant Gierad Laput présentera ses découvertes sur cette nouvelle capacité de détection au CHI 2019, la conférence de l'Association for Computing Machinery sur les facteurs humains dans les systèmes informatiques, du 4 au 9 mai à Glasgow, Écosse. Une vidéo est disponible.

Tout comme les smartphones peuvent désormais bloquer les messages texte pendant qu'un utilisateur conduit, les futurs appareils qui détectent l'activité de la main pourraient apprendre à ne pas interrompre quelqu'un pendant qu'il effectue certains travaux avec ses mains, comme couper des légumes ou faire fonctionner des équipements électriques, dit Laput. La détection de l'activité de la main se prête également à des applications liées à la santé - des activités de surveillance telles que le brossage des dents, se laver les mains ou fumer une cigarette.

La détection manuelle peut également être utilisée par les applications qui fournissent des commentaires aux utilisateurs qui apprennent une nouvelle compétence, comme jouer d'un instrument de musique, ou en cours de réadaptation physique. Les applications peuvent alerter les utilisateurs sur des habitudes de frappe pouvant entraîner des microtraumatismes répétés (RSI), ou évaluer l'apparition de déficiences motrices telles que celles associées à la maladie de Parkinson.

Laput et Harrison ont commencé leur exploration de la détection de l'activité des mains en recrutant 50 personnes pour porter des montres connectées spécialement programmées pendant près de 1 personne. 000 heures tout en vaquant à leurs activités quotidiennes. Périodiquement, les montres enregistreraient le mouvement de la main, orientation de la main et informations bio-acoustiques, puis invitez le porteur à décrire l'activité de la main :se raser, applaudir, scratch, mettre du rouge à lèvres, etc. Plus de 80 activités manuelles ont ainsi été labellisées, fournissant un ensemble de données unique.

Pour l'instant, les utilisateurs doivent porter la smartwatch sur leur bras actif, plutôt que le bras passif (non dominant) où les gens portent généralement des montres-bracelets, pour que le système fonctionne. De futures expériences exploreront les événements pouvant être détectés à l'aide du bras passif.

"Les 25 activités manuelles que nous avons évaluées ne représentent qu'une petite fraction des façons dont nous engageons nos bras et nos mains dans le monde réel, " a déclaré Laput. Les travaux futurs se concentreront probablement sur des catégories d'activités - celles associées à des activités spécifiques telles que le sevrage tabagique, soins aux personnes âgées, ou en tapant et RSI.