L'étudiant Liu Luolin de l'Institut d'optique et de mécanique de précision de Xi'an (XIOPM) de l'Académie chinoise des sciences (CAS) a proposé un modèle de bout en bout à deux flux nommé TSFNet pour la fusion d'images thermiques et visibles. Les résultats ont été publiés dans Neuroinformatique.

Le TSFNet, utiliser deux branches pour l'apprentissage des fonctionnalités, est assez différent des méthodes à deux flux précédentes, et il peut capturer pleinement les informations des deux sources.

Les images thermiques sont insensibles à la luminosité et peuvent distinguer les objets et l'arrière-plan en différenciant le rayonnement thermique. Les images visibles peuvent comprendre la vision humaine de manière plus intuitive et ont une résolution plus élevée. Par conséquent, on peut en déduire que la fusion des deux peut produire une nouvelle image avec des objets clairs et une haute résolution pour une surveillance tout temps et toute la journée/nuit.

Dans cette étude, afin de permettre au modèle de conserver les informations détaillées de l'image source de manière autonome lors de la fusion, LIU et les membres de son équipe ont adopté une stratégie d'allocation de poids adaptative pour guider la sélection des fonctionnalités. L'ensemble du cadre a été démonté en trois modules, extraction de caractéristiques, la fusion, et reconstruction.

D'après les résultats des expériences, TSFNet surpasse les méthodes de pointe selon différentes métriques d'évaluation. À l'avenir, il fournira un guide pour la conception d'un nouveau réseau de fusion d'images.