Visualisation des distributions de rotation. Les lignes représentent la probabilité de rotations supérieures à un seuil. La longueur de chaque ligne est proportionnelle à la probabilité de ce point de vue. Comme on peut le voir, PoseRBPF représente naturellement des incertitudes dues à divers types de symétries, y compris la symétrie de rotation du bol, symétrie miroir de la brique mousse, et les symétries de rotation discrètes des objets T-LESS à droite. Crédit :Deng et al.
Les chercheurs de NVIDIA, Université de Washington, Université de Stanford, et l'Université de l'Illinois Urbana-Champaign ont récemment développé un filtre à particules Rao-Blackwellized pour le suivi des poses 6D, appelé PoseRBPF. L'approche peut efficacement estimer la translation 3-D d'un objet et sa distribution complète sur la rotation 3-D. L'article décrivant ce filtre, prépublié sur arXiv, sera présenté à la prochaine conférence Robotics Science and Systems à Fribourg, Allemagne.
Le suivi des poses 6D d'objets dans des vidéos peut améliorer les performances des robots dans diverses tâches, y compris les tâches de manipulation et de navigation. La plupart des techniques existantes pour l'estimation de la pose d'un objet tentent de prédire une seule estimation pour la pose 6D (c'est-à-dire la translation xyz et l'orientation 3D) d'un objet dans chaque cadre de caméra.
Ces méthodes présentent un certain nombre de limitations et de problèmes. Par exemple, ils sont incapables de dire la pose d'objets partiellement ou complètement occlus. De plus, il y a des situations dans lesquelles, en raison des symétries, il n'y a pas une seule bonne réponse pour la pose d'un objet, ce qui complique encore la tâche.
"Il s'avère que de nombreux objets dans nos environnements quotidiens sont symétriques, comme les assiettes, boules, bouteilles, ou cubes, " Arsalan Mousavien, l'un des chercheurs qui a mené l'étude, a déclaré TechXplore. "Ces objets n'ont pas une orientation 3D unique car ils semblent identiques sous de nombreux angles de vue différents. Pour contourner ces problèmes, nous avons proposé une méthode pour suivre la distribution complète de la pose d'un objet (par opposition à une estimation de pose unique) dans le temps. Cette distribution capture avec précision l'incertitude dans la pose de l'objet, et le suivi dans le temps permet de lever l'ambiguïté de la pose de l'objet. Par exemple, si un objet est visible à un moment donné et devient occlus, la méthode peut récupérer la pose en la suivant à partir des images précédentes."
PoseRBPF, l'approche développée par Mousavian et ses collègues, peut suivre la distribution complète sur la pose 6D (c'est-à-dire la traduction 3D, orientation 3-D) d'un objet donné, par rapport à une caméra particulière. Les distributions de probabilité sur l'espace 6-D sont très complexes, donc s'ils ne sont pas mesurés correctement, il est impossible de les mettre à jour en temps réel. Pour assurer l'exactitude des distributions suivies, les chercheurs ont découplé leurs estimations de la traduction d'objets en 3D et de l'orientation des objets en 3D à l'aide d'une technique appelée filtrage de particules Rao-Blackwellized.
"Dans le filtrage particulaire Rao-Blackwellisé, les traductions d'objets sont représentées par des échantillons, ou particules, et l'orientation est discrétisée en petits morceaux de près de 200, 000 orientations possibles, " a expliqué Mousavian. " Nous avons utilisé une technique d'apprentissage en profondeur pour pré-calculer les plongements qui représentent à quoi l'objet pourrait ressembler dans toutes ces orientations et dans des conditions d'éclairage arbitraires. Tirant parti du traitement GPU NVIDIA hautement parallélisé, notre approche peut ensuite comparer l'image actuelle de la caméra à ces intégrations pré-calculées pour toutes les orientations possibles et mettre à jour la distribution en temps réel."
A chaque pas de temps, l'approche imaginée par les chercheurs met à jour l'ensemble de particules par échantillonnage à partir de l'ensemble de particules précédent, suivant un modèle qui prédit comment l'objet et la caméra pourraient se déplacer d'une étape à une autre. Ce procédé permet à PoseRBPF d'accumuler des informations dans le temps, ce qui à son tour conduit à des estimations de pose plus robustes et précises.
Visualisation des distributions de rotation. Crédit :Deng et al.
Illustration du calcul de la vraisemblance conditionnelle de rotation par appariement du livre de codes. Gauche) Chaque particule recadre l'image en fonction de son hypothèse de traduction. Le RoI de chaque particule est redimensionné et le code correspondant est calculé à l'aide de l'encodeur. A droite) La distribution de rotation P(R|Z, T) est calculé à partir de la distance entre le code de chaque hypothèse et ceux du livre de codes. Crédit :Deng et al.
Pour chaque particule, la distribution d'orientation est estimée conditionnée à l'estimation de la translation, tandis que l'estimation de la traduction est évaluée avec les ROI correspondants. Crédit :Deng et al.
Présentation du framework PoseRBPF pour le suivi de pose d'objet 6D. Crédit :Deng et al.
Visualisation des distributions de rotation. Les lignes représentent la probabilité de rotations supérieures à un seuil. La longueur de chaque ligne est proportionnelle à la probabilité de ce point de vue. Comme on peut le voir, PoseRBPF représente naturellement des incertitudes dues à divers types de symétries, y compris la symétrie de rotation du bol, symétrie miroir de la brique mousse, et les symétries de rotation discrètes des objets T-LESS à droite. Crédit :Deng et al.
En conditionnant l'estimation de l'orientation à la translation, le système de suivi proposé par Mousavian et ses collègues peut représenter efficacement des distributions d'incertitude complexes sur l'espace des poses d'objets 6-D. Leur cadre fournit également des informations d'incertitude sur la pose d'un objet donné, ce qui pourrait être particulièrement utile dans les tâches de manipulation de robots. De plus, le système a été formé à l'aide de données synthétiques et non annotées, ainsi, il peut économiser aux chercheurs le temps et les ressources consacrés à l'annotation des données.
"Notre méthode combine le cadre classique d'estimation bayésienne du filtrage particulaire avec l'apprentissage en profondeur, " a déclaré Mousavian. " Il rassemble ainsi des techniques d'estimation bien établies développées au cours des dernières décennies et la puissance des récentes approches d'apprentissage en profondeur. Par conséquent, PoseRBPF peut estimer de manière robuste les poses d'objets arbitraires, y compris les symétriques."
Les chercheurs ont évalué leur approche sur deux ensembles de données d'estimation de pose 6D :l'ensemble de données vidéo YCB et l'ensemble de données T-LESS. PoseRBPF a obtenu des résultats de pointe, surpassant les autres techniques d'estimation de pose. À l'avenir, le filtre à particules développé par Mousavian et ses collègues pourrait améliorer les performances des robots dans divers contextes, par exemple en améliorant leurs capacités de manipulation d'objets.
"Avancer, nous étudierons comment utiliser les estimations d'incertitude fournies par PoseRBPF dans le cadre de la manipulation d'objets, " a déclaré Mousavian. " Une autre voie pour le travail futur est de déplacer activement la caméra afin de réduire l'incertitude dans la pose d'un objet, comme regarder un objet d'un point de vue différent pour résoudre l'ambiguïté."
© 2019 Réseau Science X
