Crawl Budget – czyli budżet indeksowania witryny – określa się jako częstotliwość odwiedzin robotów Google (Googlebota) na podstronach danego serwisu w celu jego indeksowania.
Na pojęcie Crawl Budget składają się dwa czynniki
1. Crawl Rate Limit
Czyli limit współczynnika indeksacji, który zapobiega ewentualnym przeciążeniom strony przez roboty Google, które sprawdzają treść strony oraz określa jak często konkretna domena jest indeksowana (stosunek liczby jednocześnie odwiedzanych podstron do czasu jaki upływa pomiędzy następującymi po sobie pobraniami przez Googlebota). Na częstotliwość pobierania wpływa:
- Crawl health – warunkuje ilość odwiedzin robotów Google na domenie na podstawie szybkości działania strony. Im szybsza strona tym więcej odwiedzin Googlebota (większy crawl rate limit).
- Limit szybkości indeksowania ustawiony w Google Search Console – ręczne ustawienie maksymalnej szybkości indeksowania. Można zmniejszyć szybkość indeksowania jeżeli roboty Google zbytnio obciążają serwery. Opcja dostępna tylko w starszej wersji Search Console.
W celu sprawdzenia statystyk indeksowania na stronie należy wejść w Search Console w sekcję “statystyki indeksowania”. Znajdują się tam trzy wykresy, które opisują:
- Liczbę stron indeksowanych dziennie – określenie ilość adresów URL w danej domenie, które zostały odwiedzone przez roboty Google.
- Liczbę kilobajtów danych pobieranych dziennie, która oznacza ilość kilobajtów pobranych podczas odwiedzin przez robota.
- Czas spędzony na pobieraniu strony – określenie szybkości zbieranych informacji przez googlebota. Czas ten powinien być jak najniższy.
2. Crawl Demand
Czyli częstotliwość indeksacji, która zależy od popularności (adresy URL, które generują większą liczbę odwiedzin użytkowników na danej stronie) oraz aktualności treści dostępnych na danej stronie (ilość aktualizacji treści).
Inne czynniki wpływające na crawl budget, których powinno się unikać na stronach
- duplikacja treści,
- błąd 404,
- treści o niskiej jakości,
- duże ilości podstron.
Crawl Budget nie ma bezpośredniego wpływu na pozycjonowanie strony.