Googlebot

Googlebot – robot internetowy, używany przez Google. Przechodząc z jednej strony na drugą za pomocą odnośników, indeksuje je, tym samym tworząc indeks dla wyszukiwarki Google. Jeśli webmaster zażyczy sobie, aby informacje na jego stronie nie były dostępne dla Googlebota lub innego robota internetowego, może wykonać to za pomocą pliku robots.txt. Googlebot działa w dwóch wersjach; wykonuje tak zwany deep crawl i fresh crawl. Deep crawl czyli pełzanie głębokie ma za zadanie przechodzenie na każdy link, jaki znajdzie na „oglądanych” przez siebie stronach i dodanie tylu, ile może, do indeksu. Ten proces jest kończony i powtarzany mniej więcej co miesiąc. W trybie Fresh crawl surfuje po sieci i odwiedza strony zmieniające się często; w zależności od tego, jak często są aktualizowane. Operacja ta wykonywana jest w celu odświeżenia często zmieniającej się zawartości niektórych stron. Googlebot przegląda strony, korzystając ze wszystkich linków, jakie znajdzie na każdej wcześniej odwiedzonej przez siebie stronie. Nowe strony muszą być zalinkowane od innej, znanej już Googlebotowi strony, aby mógł ją odwiedzić i zaindeksować. Problem, z którym często borykają się webmasterzy, to duże zużycie transferu przez Googlebota. Może on powodować, że strony wykorzystają swój limit transferu i zostaną na pewien czas zawieszone. To problem dotyczący szczególnie stron mirrorujących, które przechowują gigabajty danych. Google umożliwia dostęp do „Webmaster Tools”, która umożliwia posiadaczom stron dopasowanie „natężenia” odwiedzin Googlebota na stronie.