Le World Wide Web s'est considérablement développé depuis sa création universitaire et de recherche en 1991, et son expansion ultérieure dans les domaines public et commercial. Initialement, c'était un réseau de pages hyperliées et d'autres ressources numériques. Très tôt, il est devenu évident que certaines ressources étaient si vastes qu'il serait plus logique de générer dynamiquement les matériaux requis par les utilisateurs individuels plutôt que de stocker chaque entité numérique comme un élément unique.

Aujourd'hui, d'innombrables sites Web sont dynamiques, chaque visite unique extrait des informations et des données dynamiquement à partir d'une base de données principale et les présente à l'utilisateur à la demande. Alors que les pages statiques peuvent facilement être parcourues par les moteurs de recherche, le contenu de la base de données qui gère les sites Web dynamiques est inaccessible. Même en 2001, alors qu'il y avait déjà plusieurs téraoctets de public, données Web statiques, on estimait que le "web invisible, " ou "web caché, " à ne pas confondre avec le " dark web, " était quelque 550 fois plus importante que les ressources visibles.

Rédaction dans l'International Journal of Business Intelligence and Data Mining, une équipe indienne décrit comment elle a développé une architecture multi-agents intelligente basée sur un algorithme génétique qui peut extraire des informations du Web invisible. Les outils pourraient permettre même de rechercher des matériaux prétendument interdits aux moteurs de recherche conventionnels, gratté, et catalogués pour une large gamme d'applications.

D. Weslin de l'Université de Bharathiar et Joshva Devadas du Vellore Institute of Technology décrivent les détails et les avantages de leur approche dans le dernier numéro de la revue. "Les résultats expérimentaux montrent que l'architecture proposée offre une meilleure précision et un meilleur rappel que les robots d'exploration Web existants, " écrit l'équipe.