• Home
  • Chimie
  • Astronomie
  • Énergie
  • La nature
  • Biologie
  • Physique
  • Électronique
  • LeRop :un modèle basé sur le deep learning pour capturer automatiquement des portraits humains

    Le robot propulsé par LeRop au travail. Crédit :Kang et al.

    Prendre des photos de bonne qualité peut être une tâche difficile, car cela nécessite généralement de trouver des emplacements idéaux, angles et conditions d'éclairage. Bien que les photos artistiques aient jusqu'à présent été principalement prises par des photographes humains, dans les années récentes, certains chercheurs ont commencé à étudier la possibilité de prendre des photos automatiquement à l'aide de robots.

    À cette fin, une équipe de chercheurs de l'université Purdue et d'Adobe Research a récemment développé un nouveau framework qui permet à un robot de capturer automatiquement des photographies d'humains, spécifiquement des portraits. Ce cadre, présenté dans un article prépublié sur arXiv, oblige les robots à suivre un utilisateur humain jusqu'à un endroit idéal, puis à le prendre en photo.

    LeRop, le cadre développé par les chercheurs, a été spécialement conçu pour prendre des portraits en intérieur de sujets humains. D'abord, le cadre guide un robot vers un emplacement favorable ou souhaité pour prendre des photos puis il utilise un modèle d'évaluation de photos pour proposer les meilleures vues, ainsi qu'un modèle d'apprentissage par renforcement approfondi (DRL) pour ajuster la position et l'orientation du robot afin d'assurer les meilleures conditions d'éclairage.

    "Lorsque la composition est activée, le robot tente d'ajuster sa position pour former la vue qui correspond le mieux à l'image modèle donnée et prend finalement une photo, " les chercheurs ont écrit dans leur article. " Une image modèle peut être prédite dynamiquement à l'aide d'un modèle d'évaluation de photo standard par le framework, ou sélectionné manuellement à partir d'un ensemble prédéfini par l'utilisateur."

    LeRop est un framework interactif, car les utilisateurs peuvent le programmer pour suivre une cible jusqu'à l'endroit où elle souhaite prendre une photo. Une fois que l'utilisateur atteint cet endroit, le robot commence à chercher la meilleure vue à capturer. Le composant DRL de LeRop est ce qui lui permet finalement d'ajuster son point de vue en fonction de la façon dont il correspond aux images de modèle.

    Les chercheurs ont décidé d'équiper le robot d'une caméra à 360 degrés et d'une caméra principale de haute qualité, car cela lui permet d'avoir une vue complète de son environnement à tout moment sans tourner continuellement ou changer de point de vue. De façon intéressante, le cadre a une structure modulaire, ce qui signifie que tous ses modèles peuvent être remplacés ou adaptés en fonction des besoins de l'utilisateur.

    L'équipe a évalué LeRop dans une variété de tests d'essai sur trois scènes d'intérieur, en l'intégrant dans un simple robot appelé Turtlebot. Le robot a pris 20 photographies d'un utilisateur humain dans chacun de ces trois paramètres, 10 avec un modèle prédéfini et 10 en utilisant des modèles qu'il a générés dynamiquement.

    Le nombre moyen d'ajustements effectués par le robot était de 11,20 pour les modèles prédéfinis et de 12,76 pour ceux générés dynamiquement. En outre, en utilisant le cadre des chercheurs, le robot pouvait prendre des photos en un temps moyen de 22,11 secondes à l'aide de modèles prédéfinis et de 22,40 secondes à l'aide de modèles générés dynamiquement.

    Le cadre LeRop pourrait être un premier pas vers la création d'un système de photographie robotique efficace capable de prendre des portraits de haute qualité rapidement et automatiquement. Cependant, le système développé par les chercheurs présente encore un certain nombre de limites qui pourraient empêcher son adoption à grande échelle. Par exemple, jusque là, il a une puissance de calcul embarquée limitée, et ne fonctionne donc que sur un ordinateur distant puissant.

    En outre, les chercheurs ne l'ont jusqu'à présent intégré qu'au sein de Turtlebot, qui est un simple robot avec très peu de degrés de liberté. Dans leurs prochains travaux, ils aimeraient tester leur système sur un robot plus complexe avec plus de degrés de liberté.

    "Notre système ne prend actuellement en charge qu'un portrait d'une seule personne, ", ont écrit les chercheurs. "Les nouvelles politiques devraient être réformées pour obtenir un meilleur soutien lors de la prise de photos de groupe. Dans les travaux futurs, nous aimerions également tester différents modèles esthétiques d'évaluation de photos et étendre le travail aux scènes extérieures."

    © 2019 Réseau Science X




    © Science https://fr.scienceaq.com