To World Wide Web είναι 500 φορές μεγαλύτερο από ό,τι φαίνεται
Το World Wide Web είναι 500 φορές μεγαλύτερο από ό,τι εμφανίζεται στις βάσεις δεδομένων των δημοφιλών μηχανών αναζήτησης. Αυτό είναι το συμπέρασμα έρευνας της αμερικανικής εταιρείας BrightPlanet. Από τα 500 δισεκατομμύρια ιστοσελίδες που, σύμφωνα με εκτιμήσεις, βρίσκονται αποθηκευμένες σε διακομιστές του Διαδικτύου, τα ευρετήρια των μηχανών αναζήτησης έχουν πληροφορίες για το ένα περίπου δισεκατομμύριο από αυτές.
Το World Wide Web είναι 500 φορές μεγαλύτερο από ό,τι εμφανίζεται στις βάσεις δεδομένων των δημοφιλών μηχανών αναζήτησης. Αυτό είναι το συμπέρασμα έρευνας της αμερικανικής εταιρείας BrightPlanet. Από τα 500 δισεκατομμύρια ιστοσελίδες που, σύμφωνα με εκτιμήσεις, βρίσκονται αποθηκευμένες σε διακομιστές του Διαδικτύου, τα ευρετήρια των μηχανών αναζήτησης έχουν πληροφορίες για το ένα περίπου δισεκατομμύριο από αυτές.
Στα μέσα του 1994, η Lycos, μία από τις δημοφιλέστερες μηχανές αναζήτησης του Διαδικτύου, είχε στο ευρετήριό της 54.000 ιστοσελίδες. Αν και από τότε η τεχνολογία των μηχανών αναζήτησης έχει βελτιωθεί, ο αριθμός των ιστοσελίδων που δεικτοδοτούνται δεν έχει αυξηθεί σημαντικά, όπως υποστηρίζει η BrightPlanet. Και αυτό διότι ολοένα περισσότερες πληροφορίες παραμένουν αποθηκευμένες σε βάσεις δεδομένων κυβερνητικών οργανισμών, πανεπιστημίων και επιχειρήσεων, στους οποίους ανήκουν οι δεικτοδοτημένοι δικτυακοί τόποι.
Η διαφορά οφείλεται στο γεγονός ότι οι μηχανές αναζήτησης δεικτοδοτούν μόνο τις στατικές σελίδες και όχι τις δυναμικές, οι οποίες σχηματίζονται από πληροφορίες αποθηκευμένες σε αυτές τις βάσεις. Ως συνέπεια, χρησιμοποιώντας μία από τις συνηθισμένες μηχανές αναζήτησης, τα αποτελέσματα κάθε αναζήτησης οδηγούν στην κεντρική σελίδα των σχετικών δικτυακών τόπων, πίσω από την οποία βρίσκονται αναρίθμητες δυναμικές σελίδες.
Η BrightPlanet ισχυρίζεται ότι έχει αναπτύξει το απαραίτητο λογισμικό, το LexiBot, χάρη στο οποίο κάθε αναζήτηση προχωρά σε μεγαλύτερο βάθος, ψάχνοντας και στις ογκώδεις βάσεις δεδομένων. Η διαδικασία αποδεικνύεται εξαιρετικά χρονοβόρα, αφού μία τυπική αναζήτηση απαιτεί 10-25 λεπτά για να ολοκληρωθεί, ενώ η σύνθετη αναζήτηση αποφέρει αποτελέσματα ύστερα από 90 λεπτά.