Les premières étapes de l'enseignement des compétences de fabricant, telles que la fabrication numérique, impliquent généralement des exercices simples comme la découpe au laser ou l'impression 3D de formes et d'objets de base. Dans notre monde hyperconnecté et hyperstimulé, cette activité d'apprentissage peut sembler un peu décevante - un sentiment qui a causé Dishita Turakhia, un doctorat du MIT. étudiant en génie électrique et en informatique et affilié au Laboratoire d'informatique et d'intelligence artificielle (CSAIL), pour réinventer le pipeline d'apprentissage dans le but de garder les étudiants intéressés, inspirés et responsabilisés. En collaboration avec des collègues, dont la professeure du MIT Stefanie Mueller, Turakhia a depuis développé un nouveau système pour enseigner la fabrication informatique qui permet aux enfants de fabriquer leurs personnages préférés directement à partir de jeux numériques.

Q :Quelles sont certaines des façons dont nous pouvons réinventer l'enseignement des compétences de création aux jeunes enfants ?

R :L'un des facteurs clés de l'enseignement des compétences aux jeunes enfants est de les garder engagés, intéressés et inspirés. Nous nous sommes donc lancés le défi de réimaginer comment la fabrication numérique peut être introduite et enseignée aux jeunes apprenants de manière ludique et amusante.

Nous avons conçu une nouvelle approche où nous avons combiné l'enseignement de la fabrication avec la pratique de jeux vidéo. Les enfants jouent déjà à une myriade de jeux vidéo qui contiennent d'innombrables objets et personnages numériques avec lesquels les joueurs interagissent. Nous nous sommes donc dit, et si, tout en jouant à ces jeux et en interagissant avec les objets et personnages numériques, les enfants pouvaient les fabriquer pour interagir avec eux dans le monde physique, et acquérir des compétences de fabrication et de création en cours de route ?

Prenons un exemple où un jeune apprenant joue au jeu "Pokémon Let's Go" et chaque fois qu'il capture un nouveau Pokémon, il reçoit également les fichiers de fabrication pour créer un Pokémon physique à ajouter à sa collection. Ou imaginez quand un enfant jouant au jeu "Legend of Zelda" acquiert l'un des objets les plus rares, l'épée de Biggoron, elle peut fabriquer une version physique de l'épée rare et l'utiliser comme contrôleur de jeu. Désormais, ces jeunes apprenants peuvent jouer à leurs jeux engageants préférés et fabriquer des objets de jeu avec lesquels ils peuvent avoir des liens personnels, tout en acquérant des connaissances sur la fabrication numérique, telles que les paramètres des outils et les spécifications des matériaux, en cours de route.

Cependant, la mise en œuvre de cette vision de l'enseignement de la fabrication par le jeu comporte ses deux principaux défis. Le premier défi consiste à convertir les jeux numériques existants en jeux de fabrication sans accès ouvert au code source du jeu. Le deuxième défi consiste à générer des fichiers de fabrication des objets de jeu souhaités sans accès aux référentiels ou aux fichiers d'actifs du jeu. Dans notre travail, nous avons relevé ces deux défis en utilisant des algorithmes de vision par ordinateur pour la détection, la segmentation et l'extraction d'objets, et avons construit une boîte à outils appelée FabO.

La boîte à outils FabO permet aux éducateurs de sélectionner des moments significatifs dans des jeux existants (par exemple, capturer des Pokémon ou acquérir l'épée de Biggoron) et de les marquer comme des événements de fabrication. Lorsque les apprenants jouent à ces jeux, FabO surveille leur gameplay à la recherche des événements de fabrication marqués. Lorsqu'ils rencontrent un événement de fabrication, FabO génère automatiquement les fichiers de fabrication pour les objets du jeu dans l'événement et en informe les apprenants. Les apprenants peuvent fabriquer les objets à partir de leur gameplay personnel pendant ou après leur partie.

Cette idée de concevoir des jeux de fabrication pour l'apprentissage peut personnaliser l'expérience d'apprentissage des compétences de fabricant pour les jeunes apprenants d'une manière engageante et significative en amenant des objets de jeu de leur gameplay dans le monde physique.

Q :Quelle est l'utilité d'étendre le gameplay dans le monde physique ?

R :C'est une excellente question ! Une fois que nous avons construit notre boîte à outils FabO, notre prochaine enquête de recherche s'est concentrée exactement sur cette question :étant donné la possibilité d'introduire les objets numériques dans le monde physique, de quelles manières l'expérience des deux, l'apprentissage et le jeu, pourrait-elle être élargie ?

Pour répondre à cette question, nous avons mené une étude exploratoire où nous avons invité les participants à utiliser FabO et à convertir les jeux vidéo existants de leur choix en jeux de fabrication. Nous avons ensuite analysé les caractéristiques de 47 objets fabriqués à partir de 33 jeux différents que les participants ont choisi de modifier en jeux de fabrication à l'aide de FabO. Notre analyse a indiqué que cette idée nous a non seulement permis de fusionner les deux mondes du jeu virtuel et de l'interaction tangible à travers des objets fabriqués, mais a également permis la création d'objets auxquels les apprenants ont des associations personnelles et des significations attachées. En d'autres termes, cette idée a permis à chaque apprenant d'apporter des objets uniques à leur expérience de jeu virtuel dans le monde tangible, quelque chose comme un horodatage de leur mouvement de jeu.

Cette personnalisation a été l'occasion d'ajouter une autre couche de narration personnelle à leur expérience d'apprentissage. Par exemple, plusieurs apprenants jouant au jeu "PokémonLet'sGo" apprendraient les mêmes compétences de fabrication numérique, mais chaque objet fabriqué est unique en fonction de leur gameplay !

Grâce à notre analyse, nous avons identifié cinq catégories ou manières communes par lesquelles les apprenants attachaient des significations et des associations personnelles aux objets fabriqués à partir de leur gameplay - objets de fierté, objets d'expression créative de soi, objets de ressources, objets utiles pour étendre le gameplay à le monde physique et les objets d'expérience partagée. La dernière catégorie d'expérience partagée est particulièrement unique pour les jeux multijoueurs où ces objets sont associés aux moments partagés du gameplay, comme les victoires collectives ou les défaites d'équipe. Ainsi, dans le cas des jeux multijoueurs, une autre dimension de connexion sociale et d'expérience d'apprentissage partagée est attachée aux objets fabriqués à partir de leur gameplay partagé.

Q :Comment pourriez-vous voir un système comme FabO être utilisé dans le Metaverse ou avec Roblox ?

R :Nous considérons la réalité augmentée comme une extension naturelle de notre application système. La promesse des univers virtuels comme Metaverse et Omniverse, en particulier les environnements AR [réalité augmentée], est qu'ils peuvent soutenir l'apprentissage grâce à la fusion transparente des mondes numérique et physique. Cette intégration transparente du physique et du virtuel change particulièrement la donne (jeu de mots !) pour l'apprentissage des compétences des créateurs en raison de la nature physique des compétences.

Avec un système comme FabO, l'expérience de jeu et d'apprentissage peut être intégrée davantage de manière immersive. Imaginez donc qu'un jeune apprenant jouant au jeu AR de "PokémonGo" capture un Pokémon dans un monde virtuel, puis est transporté dans un laboratoire de fabrication virtuel pour s'entraîner à l'utilisation des outils de fabrication numérique, comme le découpeur laser et l'imprimante 3D, pour fabriquer leur Pokémon unique. Once she completes her training, she can confidently fabricate the physical version of her Pokémon. This physical object can be brought back into the AR world for a more interactive gameplay experience—for example, during the Pokémon battles.

Furthermore, because FabO allows any user (such as an educator) to design the fabrication events for another user (such as a learner), this feature can be extended for several interesting social gaming experiences, especially for platforms like Roblox. For example, an educator could design co-making puzzles for her class of young learners where each learner fabricates their gameplay object, which is a piece of a larger puzzle that the entire class builds together.

Another scenario in which social gaming can have an interesting intersection with FabO is where users embed fabrication events for each other inside the same game. So even though players could be playing the same game, depending on whose "FabO version" they play, the fabrication events and objects could widely vary, and thus the experience of learning fabrication could be unique.

We therefore think that there are several exciting avenues in which applications for a system like FabO could be expanded and we are excited to pursue these directions in our research. + Explorer plus loin

Sony, Lego to put $2 bn into Epic Games metaverse effort

Cette histoire est republiée avec l'aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche, de l'innovation et de l'enseignement du MIT.