Évaluer l'utilisabilité des logiciels libres (OSS), un logiciel mis gratuitement à la disposition des développeurs du monde entier, consiste généralement à analyser les retours et commentaires de ceux qui l'ont utilisé. Traiter et comprendre les retours d'informations fournis dans les discussions des utilisateurs, cependant, peut être difficile en raison du grand nombre de commentaires en ligne, et parce qu'ils présentent souvent des opinions opposées.

Conscient de ces difficultés, chercheurs de l'Université McGill, l'Université de Bari et Polytechnique Montréal ont récemment développé ArguLens, un cadre théorique et une technique automatisée pour simplifier l'analyse des discussions communautaires liées à l'utilisabilité des logiciels libres. Leur récent article, prépublié sur arXiv, fait partie d'un effort de recherche en cours visant à aider les développeurs de projets open source à améliorer la convivialité de leurs logiciels.

« Comprendre les raisons qui sous-tendent les demandes de la communauté et évaluer davantage leurs impacts sur les utilisateurs finaux peut être très difficile, surtout lorsque les opinions de la communauté sont en conflit les unes avec les autres, " les chercheurs ont déclaré à TechXplore, par email. "L'objectif principal de notre étude était d'aider les contributeurs open source à digérer et évaluer les opinions de la communauté sur la convivialité de leur projet."

Avant de commencer à travailler sur ArguLens, les chercheurs ont eu de longues discussions avec des contributeurs open source pour mieux comprendre ce qu'ils trouvaient le plus difficile dans la compréhension des commentaires reçus de la communauté. Ils ont constaté que la plupart des développeurs rencontraient d'énormes difficultés à digérer et à intégrer les commentaires de la communauté, y compris les suggestions et les demandes faites via les systèmes de suivi des problèmes.

Cela était dû au volume considérable de commentaires qu'ils ont recueillis, ainsi que du fait que les utilisateurs ont souvent exprimé des points de vue divers et quelque peu opposés. Combiné, ces deux facteurs ont souvent rendu difficile le traitement et la digestion des commentaires liés à l'utilisabilité.

Les chercheurs ont conçu ArguLens dans le but principal d'aider les développeurs de logiciels libres à donner un sens aux commentaires riches et variés qu'ils ont recueillis en ligne. ArguLens comprend à la fois un cadre conceptuel et une technique automatisée pour l'analyse des commentaires en ligne.

« En tant que cadre conceptuel, il adapte un modèle d'argumentation proposé par Stephen Toulmin pour structurer les discussions liées à l'utilisabilité en trois éléments majeurs :Revendication, Sol, et mandat, " expliquent les chercheurs. " C'est ce que nous appelons " l'anatomie " des opinions de la communauté. En tant que technique automatisée, il propose des méthodes de traitement du langage naturel pour détecter ces éléments à partir de discussions liées à l'utilisabilité sous forme libre."

Les développeurs et autres membres de la communauté peuvent utiliser ArguLens pour différencier et synthétiser les demandes concrètes faites par les membres de la communauté (capturées dans la catégorie « Réclamation »), ainsi que des faits sur leur système qui intéressent la communauté (capturés dans la catégorie « terrain ») et des opinions personnelles sur les raisons pour lesquelles des faits individuels sont particulièrement importants pour les utilisateurs (capturés dans la catégorie « Mandat »). le cadre peut ainsi être utilisé pour des discussions d'échafaudage et pour analyser les problèmes d'utilisabilité des logiciels libres.

Dans le cadre de leurs recherches, l'équipe a évalué et vérifié l'évolutivité d'ArguLens à l'aide de techniques d'apprentissage automatique supervisé pour l'extraction automatisée d'arguments. Ils ont également demandé aux développeurs expérimentés d'utiliser ArguLens et de leur dire si cela les a aidés à comprendre les commentaires de la communauté. Les commentaires qu'ils ont reçus étaient très prometteurs, car la majorité des utilisateurs ont déclaré que le cadre les a aidés à mieux assimiler et examiner les opinions liées à l'utilisabilité.

"Une application directe du framework ArguLens pourrait être dans les outils pour les systèmes de suivi des problèmes open source pour fournir une interface efficace aux discussions de la communauté sur les problèmes d'utilisabilité, " les chercheurs ont dit. " Une fois largement adopté, ce cadre peut induire un changement révolutionnaire dans la façon dont les gens considèrent les problèmes d'utilisabilité open source, encourager une discussion constructive sur ces questions et, éventuellement, aider à améliorer la convivialité de l'open source."

Le cadre pourrait bientôt aider les développeurs OSS du monde entier à donner un sens aux opinions contrastées sur la convivialité de leurs projets. De façon intéressante, cependant, il pourrait également être appliqué à d'autres aspects du logiciel qui peuvent être améliorés en fonction des commentaires des utilisateurs, comme la confidentialité ou la sécurité. L'équipe prévoit maintenant d'améliorer encore le cadre, en se concentrant sur deux nouvelles directions de recherche.

"D'abord, nous étudions des conceptions d'outils capables de présenter efficacement les informations capturées par le cadre ArguLens, ", ont déclaré les chercheurs. "Cela nous aidera non seulement à mieux comprendre l'efficacité de ce cadre dans la nature (dans des contextes réels), mais cela peut également déboucher sur des applications concrètes qui profitent directement aux communautés open source. Seconde, nous nous concentrons sur les méthodes human-in-the-loop pour atténuer la classification imparfaite des techniques automatisées, afin de garantir davantage l'évolutivité et l'utilité de ce cadre."

© 2020 Réseau Science X