Un algorithme développé par des informaticiens de l'Université Brown permet aux robots de mettre un stylo sur du papier, écrire des mots en utilisant des motifs de traits similaires à l'écriture humaine. C'est une étape, disent les chercheurs, vers des robots capables de communiquer plus facilement avec des collègues et des collaborateurs humains.

"Juste en regardant une image cible d'un mot ou d'un croquis, le robot peut reproduire chaque coup comme une action continue, " a déclaré Atsunobu Kotani, un étudiant de premier cycle à Brown qui a dirigé le développement de l'algorithme. "Cela rend difficile pour les gens de distinguer s'il a été écrit par le robot ou réellement écrit par un humain."

L'algorithme utilise des réseaux d'apprentissage en profondeur qui analysent les images de mots ou de croquis manuscrits et peuvent en déduire la série probable de traits de stylo qui les a créés. Le robot peut ensuite reproduire les mots ou les croquis à l'aide des traits de stylo qu'il a appris. Dans un article qui sera présenté à la conférence internationale de ce mois-ci sur la robotique et l'automatisation, les chercheurs font la démonstration d'un robot capable d'écrire « bonjour » dans 10 langues utilisant différents jeux de caractères. Le robot était également capable de reproduire des croquis grossiers, dont une de la Joconde.

Stefanie Tellex, professeur assistant d'informatique chez Brown et conseiller de Kotani, dit que ce qui rend ce travail unique, c'est la capacité du robot à apprendre l'ordre des traits à partir de zéro.

"Une grande partie du travail existant dans ce domaine nécessite que le robot dispose à l'avance d'informations sur l'ordre des mouvements, " dit Tellex. " Si vous vouliez que le robot écrive quelque chose, quelqu'un devrait programmer les ordres de course à chaque fois. Avec ce qu'Atsu a fait, vous pouvez dessiner ce que vous voulez et le robot peut le reproduire. Il ne fait pas toujours l'ordre des traits parfait, mais ça s'en rapproche assez."

Un autre aspect remarquable du travail, Tellex dit, C'est ainsi que l'algorithme a pu généraliser sa capacité à reproduire les traits. Kotani a formé son algorithme d'apprentissage en profondeur à l'aide d'un ensemble de caractères japonais, et a montré qu'il pouvait reproduire les caractères et les traits qui les ont créés avec une précision d'environ 93 %. Mais à la grande surprise des chercheurs, l'algorithme a fini par être capable de reproduire des types de caractères très différents qu'il n'avait jamais vus auparavant - caractères anglais et cursifs, par exemple.

"Nous aurions été heureux s'il n'avait appris que les caractères japonais, " dit Tellex. " Mais une fois qu'il a commencé à travailler sur l'anglais, nous avons été étonnés. Ensuite, nous avons décidé de voir jusqu'où nous pouvions aller. »

Tellex et Kotani ont demandé à tous ceux qui travaillent dans le laboratoire Humans to Robots de Tellex d'écrire "bonjour" dans leur langue maternelle, qui comprenait le grec, Hindi, ourdou, chinois et yiddish entre autres. Le robot a pu les reproduire tous avec une précision de course raisonnable.

"J'ai l'impression qu'il y a quelque chose de vraiment beau dans le robot qui écrit dans tant de langues différentes, " dit Tellex. "Je pensais que c'était vraiment cool."

Mais le chef-d'œuvre du système est peut-être sa copie du croquis de la Joconde de Kotani. Il a dessiné son croquis sur un tableau effaçable à sec dans le laboratoire de Tellex, puis a permis au robot de le copier - assez fidèlement - sur le même tableau juste en dessous de l'original de Kotani.

"C'était tôt le matin que notre robot a finalement dessiné la Joconde sur le tableau blanc, " dit Kotani. " Quand je suis revenu au labo, tout le monde se tenait autour du tableau blanc et regardait la Joconde et me demandait si [le robot] avait dessiné ça. Ils ne pouvaient pas y croire."

Ce fut un grand moment pour Kotani car "c'était le moment où notre robot a défini ce qui est au-delà de la simple impression". Une imprimante à jet d'encre peut recréer une image, mais il le fait avec une tête d'impression qui va en arrière en construisant l'image ligne par ligne. Mais c'était le robot créant une image avec des traits de type humain, ce qui pour Kotani est "quelque chose de beaucoup plus humain et expressif".

Clé pour faire fonctionner le système, Kotani dit, est que l'algorithme utilise deux modèles distincts de l'image qu'il essaie de reproduire. En utilisant un modèle global qui considère l'image dans son ensemble, l'algorithme identifie un point de départ probable pour effectuer le premier coup. Une fois que cet AVC a commencé, l'algorithme zoome, en regardant l'image pixel par pixel pour déterminer où ce trait doit aller et combien de temps il doit durer. Lorsqu'il atteint la fin de la course, l'algorithme appelle à nouveau le modèle global pour déterminer où le prochain coup doit commencer, puis c'est de retour au modèle zoomé. Ce processus est répété jusqu'à ce que l'image soit complète.

Kotani et Tellex disent que le travail est une étape vers une meilleure communication entre les humains et les robots. Finalement, ils imaginent des robots qui peuvent laisser des Post-it Notes, prendre des dictées ou des schémas de croquis pour leurs collègues et collaborateurs humains.

"Je veux qu'un robot soit capable de faire tout ce qu'une personne peut faire, " dit Tellex. " Je suis particulièrement intéressé par un robot qui peut utiliser le langage. L'écriture est une façon dont les gens utilisent la langue, alors nous avons pensé que nous devrions essayer ceci.