Historia wyszukiwarek

Pierwszych narzędzi służących do wyszukiwania i przetwarzania zdobytych w ten sposób informacji należy doszukiwać się już w późnych latach pięćdziesiątych, jednak były one przeznaczone przede wszystkim do pracy na zamkniętych systemach.

W początkach Internetu zdecydowana większość stron oparta była na prostych dokumentach HTML. Pierwsze próby stworzenia wyszukiwarek opierały się na idei indeksowania kompletnej treści strony, co prowadziło do powstania ogromnych baz danych, które właściwie duplikowały zawartość ówczesnego Internetu, rezygnując jednocześnie z indeksowania stron na bieżąco, oraz ignorując wszystkie zasoby nie zapisane w HTML. Co więcej błędnie uważano, że tradycyjne podejście do wyszukiwania znajdzie swoje zastosowanie również w Internecie, dlatego tworzone na potrzeby Internetu wyszukiwarki cechowały się bardzo niskim stopniem zaawansowania i wyposażone były jedynie w najbardziej podstawowe funkcjonalności. Takie podejście do problemu wyszukiwania, kiedy Internet był jeszcze stosunkowo niewielki a ilość gromadzonych w nim informacji ograniczona, w połączeniu z jego późniejszym gwałtownym rozwojem, stało się pierwszym krokiem na drodze do powstania tzw. głębokiego Internetu, niedostępnego dla wyszukiwarek

Największym wyzwaniem dla pierwszej generacji wyszukiwarek było przede wszystkim zlokalizowanie wszystkich stron opublikowanych w Internecie. Ze względu na jego silnie zdecentralizowaną strukturę,  jedynym rozwiązaniem było podążanie za linkami znajdowanymi na indeksowanych stronach, stopniowo dodając je do kolejki oczekujących na umieszczenie w bazie wyszukiwarki. Zadania z pewnością nie ułatwiało pojawianie się, z dnia na dzień, dużych ilości nowych stron oraz rozwój funkcjonujących od dłuższego czasu. Z biegiem czasu ilość stron do których nie dotarła żadna wyszukiwarka rosła, wprowadzanie nowszych, bardziej zaawansowanych narzędzi, na które ostatecznie się zdecydowano, nie było w stanie dotrzymać tempa pojawianiu się nowych informacji

Istotnym problemem było również o wiele częstsze indeksowanie najpopularniejszych stron znajdujących się w Internecie, w stosunku do nowo utworzonych, bądź mniej znanych. Do takich stron prowadziło po prostu więcej odnośników, za którymi podążały, zaprojektowane w taki właśnie sposób, ówczesne wyszukiwarki. Zaistniała potrzeba stworzenia częściowo inteligentnego narzędzia, które będzie w stanie odnaleźć się w stale zwiększającym swoje rozmiary Internecie i skuteczne pokonanie wspomnianych przeszkód do jego pełnego zaindeksowania.