Deux pigeons picorent des grains dans un parc de Constance. Un troisième pigeon arrive. Il y a quatre caméras à proximité immédiate. Les doctorants Alex Chan et Urs Waldmann du Cluster of Excellence Collective Behaviour de l'Université de Constance filment la scène. Au bout d'une heure, ils reviennent avec les images à leur bureau pour les analyser avec un cadre de vision par ordinateur pour l'estimation de la posture et le suivi de l'identité.

Le cadre détecte et dessine une boîte autour de tous les pigeons. Il enregistre les parties centrales du corps et détermine leur posture, leur position et leur interaction avec les autres pigeons qui les entourent. Tout cela se produit sans qu’aucun marqueur ne soit attaché aux pigeons ni qu’il soit nécessaire de faire appel à un être humain pour les aider. Cela n'aurait pas été possible il y a seulement quelques années.

Cadre 3D-MuPPET

Les méthodes sans marqueur pour le suivi de la posture des animaux se sont développées rapidement récemment, mais les cadres et les références pour le suivi de grands groupes d'animaux en 3D font encore défaut. Pour combler cette lacune, le chercheur Urs Waldmann du Cluster of Excellence Collective Behavior de l'Université de Constance et Alex Chan de l'Institut Max Planck du comportement animal et leurs collègues présentent 3D-MuPPET, un cadre pour estimer et suivre des poses 3D allant jusqu'à 10 pigeons à vitesse interactive en utilisant plusieurs vues de caméra.

La recherche a été récemment publiée dans l'International Journal of Computer Vision. .

3D-MuPPET, qui signifie 3D Multi-Pigeon Pose Estimation and Tracking, est un cadre de vision par ordinateur pour l'estimation de la posture et le suivi de l'identité de jusqu'à 10 pigeons individuels à partir de quatre vues de caméra, basé sur des données collectées à la fois dans des environnements captifs et même dans le sauvage.

"Nous avons formé un détecteur de points clés 2D et des points triangulés en 3D, et avons également montré que les modèles formés sur des données sur un seul pigeon fonctionnent bien avec des données sur plusieurs pigeons", explique Waldmann. Il s'agit d'un premier exemple de suivi de posture d'animal en 3D pour un groupe entier de 10 individus maximum.

Ainsi, le nouveau cadre fournit aux biologistes une méthode concrète pour créer des expériences et mesurer la posture des animaux pour une analyse comportementale automatique. "Ce cadre constitue une étape importante dans le suivi de la posture des animaux et l'analyse automatique du comportement", déclare Chan.

Le framework peut être utilisé dans la nature

En plus du suivi des pigeons en intérieur, le cadre est également étendu aux pigeons à l'état sauvage. "En utilisant un modèle capable d'identifier le contour de n'importe quel objet dans une image appelé Segment Anything Model, nous avons ensuite formé un détecteur de points clés 2D avec un pigeon masqué à partir des données captives, puis avons appliqué le modèle à des vidéos de pigeons en extérieur sans aucun réglage supplémentaire du modèle. ", déclare Chan.

3D-MuPPET présente l'une des premières études de cas sur la façon de passer du suivi d'animaux en captivité au suivi d'animaux à l'état sauvage, permettant de mesurer les comportements à grande échelle des animaux dans leurs habitats naturels. Les méthodes développées peuvent potentiellement être appliquées à d'autres espèces dans des travaux futurs, avec une application potentielle pour la recherche sur le comportement collectif à grande échelle et la surveillance des espèces de manière non invasive.

3D-MuPPET présente un cadre puissant et flexible pour les chercheurs qui souhaitent utiliser la reconstruction de posture 3D pour plusieurs individus afin d'étudier le comportement collectif dans n'importe quel environnement ou espèce. Tant qu'une configuration multi-caméras et un estimateur de posture 2D sont disponibles, le cadre peut être appliqué pour suivre les postures 3D de n'importe quel animal.