Les informaticiens de Columbia Engineering ont développé un nouveau système informatique qui permet des applications mobiles non modifiées pour combiner et partager plusieurs appareils, y compris les caméras, affiche, haut-parleurs, micros, capteurs, et GPS, sur plusieurs smartphones et tablettes. Appelé M2, le nouveau système fonctionne à travers des systèmes hétérogènes, y compris Android et iOS, combinant les fonctionnalités de plusieurs systèmes mobiles en un système plus puissant qui offre aux utilisateurs une expérience transparente sur les différents systèmes.

Avec l'avènement des smartphones et tablettes sans lunette, M2 répond à la demande croissante d'informatique multi-mobile :les utilisateurs peuvent à la place basculer dynamiquement leurs flux Netflix ou Spotify de leurs smartphones vers une collection d'autres systèmes à proximité pour un affichage plus grand ou un meilleur son. Au lieu d'utiliser les smartphones et les tablettes de manière isolée, les utilisateurs peuvent combiner les fonctionnalités de leur système puisqu'ils peuvent désormais tous travailler ensemble. Les utilisateurs peuvent même combiner des photos prises à partir de différents appareils photo et sous différents angles en un seul, image 3D détaillée.

"Compte tenu des nombreuses applications populaires et familières disponibles, nous pouvons combiner et mélanger des systèmes pour faire des choses intéressantes avec ces applications existantes non modifiées sans obliger les développeurs à adopter un nouvel ensemble d'API et d'outils, " dit Naser AlDuaij, l'auteur principal de l'étude et un doctorat. étudiant travaillant avec le professeur d'informatique Jason Nieh. « Nous voulions utiliser M2 pour cibler toutes les applications sans ajouter de frais généraux au développement d'applications. Les utilisateurs peuvent même utiliser M2 pour exécuter des applications Android à partir de leur iPhone. »

Le défi pour l'équipe était que les systèmes mobiles ne sont pas seulement très hétérogènes, mais ce partage d'appareils hétérogène est également difficile à prendre en charge. Au-delà de l'hétérogénéité matérielle, il existe également de nombreuses plates-formes et versions d'OS diverses, avec une large gamme d'interfaces de périphériques incompatibles qui dictent la façon dont les applications logicielles communiquent avec le matériel.

Alors que différents systèmes mobiles ont des API différentes et que les appareils de bas niveau sont spécifiques au fournisseur, les données d'appareil de haut niveau fournies aux applications sont généralement dans un format standard. AlDuaij a donc adopté une approche de données d'appareil de haut niveau et a conçu M2 pour importer et exporter des données d'appareil dans un format commun vers et depuis les systèmes, évitant le besoin de ponter des systèmes mobiles incompatibles et des API d'appareils. Cette méthode permet à M2 non seulement de partager des appareils, mais aussi pour mélanger et combiner des appareils de différents types de données puisqu'il peut agréger ou manipuler des données d'appareils dans un format connu.

"Avec M2, nous introduisons la transformation de l'appareil, un cadre qui permet à différents appareils sur des systèmes disparates d'être remplacés et combinés les uns aux autres pour prendre en charge l'hétérogénéité multi-mobile, Fonctionnalité, et la transparence, " dit AlDuaij, qui a présenté l'étude aujourd'hui à MobiSys 2019, la 17e conférence internationale de l'ACM sur les systèmes mobiles, Applications, Et services. « Nous pouvons facilement manipuler ou convertir les données de l'appareil car elles sont dans un format standard. Par exemple, nous pouvons facilement mettre à l'échelle et agréger les entrées de l'écran tactile. Nous pouvons également convertir des cadres d'affichage en cadres de caméra ou vice versa. M2 nous permet de réinterpréter ou de représenter différents appareils de différentes manières."

Parmi les « transformations » de l'appareil de M2, la fusion des données de l'appareil à partir de plusieurs appareils pour fournir un scénario d'affichage à plusieurs têtes pour une meilleure expérience de visionnage ou de jeu sur « grand écran ». En convertissant les données du capteur de l'accéléromètre en touches d'entrée, M2 peut transformer un smartphone en télécommande de type Nintendo Wii pour contrôler un jeu sur un autre système. Les mouvements des yeux peuvent également être transformés en saisie tactile, une fonctionnalité d'accessibilité utile pour les utilisateurs handicapés qui ne peuvent pas utiliser leurs mains.

Pour des conférences audio sans avoir à utiliser un équipement spécialisé coûteux, M2 peut être déployé sur des smartphones dans une pièce pour tirer parti de leurs microphones à partir de plusieurs points de vue, offrant une qualité sonore supérieure identifiable par le locuteur et une suppression du bruit. M2 peut rediriger un affichage vers une caméra afin que les applications de caméra standard puissent enregistrer une vidéo Netflix ou YouTube et peut également permettre l'enregistrement vidéo panoramique en fusionnant les entrées de caméra de deux systèmes pour créer une vue panoramique plus large. Une application potentiellement populaire permettrait aux parents assis l'un à côté de l'autre d'enregistrer les performances scolaires ou sportives de leur enfant en grand angle.

"Faire tout cela sans avoir à modifier les applications signifie que les utilisateurs peuvent continuer à utiliser leurs applications préférées avec une expérience améliorée, " dit AlDuaij. " M2 est une solution gagnant-gagnant :les utilisateurs n'ont pas à se soucier des applications qui prendraient en charge une telle fonctionnalité et les développeurs n'ont pas besoin de dépenser du temps et de l'argent pour mettre à jour leurs applications. "

L'utilisation de M2 ​​est simple :tout ce qu'un utilisateur aurait à faire est de télécharger l'application M2 à partir de Google Play ou de l'App Store d'Apple. Aucun autre logiciel n'est nécessaire. Un système mobile exécute l'application non modifiée ; l'entrée et la sortie de tous les systèmes sont combinées et partagées avec l'application.

"Notre système M2 est simple d'utilisation, fonctionne efficacement, et balance bien, surtout par rapport aux approches existantes, " note Nieh. " Nous pensons que l'informatique multi-mobile offre un une expérience plus riche avec la possibilité de combiner plusieurs appareils de plusieurs systèmes ensemble de nouvelles manières.

L'équipe de Columbia a entamé des discussions avec des fournisseurs de systèmes d'exploitation mobiles et des fabricants de téléphones pour incorporer les technologies M2 dans les prochaines versions de leurs produits. Avec quelques modifications mineures aux systèmes actuels, les fournisseurs de systèmes d'exploitation mobiles peuvent rendre l'informatique multi-mobile largement accessible à tous.