Deux astronomes de l'Université de Groningen (Pays-Bas) ont développé une bibliothèque logicielle qui peut générer sans effort des visualisations basées sur des centaines de millions de points de données. Maarten Breddels et Jovan Veljanoski ont initialement développé leur logiciel pour gérer l'énorme quantité de données de la mission Gaia. Cependant, le logiciel peut également afficher des modèles dans d'autres fichiers de données volumineux. Le logiciel est open source et libre d'utilisation. Les chercheurs expliquent les tenants et aboutissants dans un article qui a été accepté pour publication dans la revue Astronomie &Astrophysique .

Breddels et Veljanoski appellent leur logiciel Vaex, qui signifie « visualisation et exploration de grands ensembles de données tabulaires ». Le logiciel interactif peut générer des visualisations de milliards de points de données en une seconde seulement. Il se comporte de la même manière que Google Maps. Lors d'un panoramique ou d'un zoom, une carte mise à jour ou plus détaillée apparaît presque immédiatement. Cependant, Google Maps fonctionne rapidement, serveurs puissants, tandis que Vaex travaille sur un ordinateur portable.

La puissance de Vaex réside dans la combinaison de plusieurs techniques intelligentes. D'abord, il utilise un algorithme intelligent qui maximise toute la puissance de calcul disponible. Puis, il ne lit que les données requises sur le disque dur et les envoie directement à la mémoire principale de l'ordinateur. Finalement, il est extrêmement efficace en mémoire, et la mémoire de travail ne stocke pas de copies inutiles des données.

Breddels a présenté Vaex en direct lors de plusieurs conférences. Par exemple, il a utilisé un ensemble de données composé d'un milliard d'entrées liées aux taxis Yellow Cab à New York. Il montre quels trajets en taxi sont les plus lucratifs, et où les taxis devraient attendre à n'importe quel moment de la journée pour maximiser leur profit. Cet exemple montre comment Vaex peut être intéressant et bénéfique pour des applications générales en dehors de l'astronomie.