Googlebot – robot Google – jest to program Google, który indeksuje strony internetowe.
Googlebot – zadania
Zadaniem Googlebota jest:
- odnajdywanie stron internetowych,
- analizowanie ich i za pomocą odnośników przechodzenie z jednej strony na drugą, tworząc indeks dla wyszukiwarki Google.
Zasady ich działania opisują algorytmy wprowadzone przez pracowników Google. Żeby strona internetowa była poprawnie zaindeksowana przez Googlebota musi ona spełniać szereg norm i wymagań tzw. czynników rankingowych.
Googlebot a indeksowanie stron internetowych
Najważniejszą rzeczą z punktu widzenia Googlebota jest:
- widoczny adres URL strony,
- linki wewnętrzne i linki zewnętrzne, które pozwalają na odwiedzenie przez niego wszystkich witryn i ich przeanalizowanie.
Im więcej linków, które prowadzą do danej strony/witryny, tym szybszy będzie proces indeksowania przez Googlebota. Robot Google, który trafia na daną stronę internetową, odczytuje jej treść i wyłapuje słowa kluczowe na podstawie których dana strona zostanie zapisana w wyszukiwarce Google i będzie się wyświetlała po ich wpisaniu przez użytkownika. Dlatego też, opisy związane z pozycjonowaną stroną muszą być unikalne i poprawne językowo.
Ilość czasu jaki Googlebot jest w stanie poświęcić na analizowanie witryny to tzw. crawl budget.
“Sterowanie” Googlebot’em
Sterowanie Googlebot’em jest możliwe poprzez:
- stosowanie linków nofollow,
- usuwanie błędów 404,
- stosowanie małej ilości przekierowania 301,
- stosowanie pliku robots.txt w głównym katalogu domeny, który pomaga na sterowanie robotem i informowanie go, które linki ma odwiedzić, a które nie.