Robot wyszukiwarki internetowej – klient użytkownika – jest to program komputerowy, bez którego system Google nie działałaby prawidłowo. Robot wyszukiwarki internetowej pełni bardzo ważną funkcję i odpowiada za pozycjonowanie stron internetowych.
Zadania robota wyszukiwarki internetowej
Do głównych zadań robota wyszukiwarki internetowej należy:
- zbieranie informacji na temat strony internetowej i jej strukturze,
- dodawanie stron internetowych do wyszukiwarki,
- sprawdzanie kodu strony internetowej,
- tworzenie kopii strony internetowej,
- monitorowanie nowości na stronach internetowych,
- podążanie za linkami zewnętrznymi i wewnętrznymi na stronach.
Jeżeli strona internetowa nie występują w wynikach wyszukiwania oznacza to, że nie została odwiedzona przez roboty wyszukiwarki i tym samym nie została przez nie zaindeksowana.
Przykłady robotów wyszukiwarki internetowej
- Googlebot – główny robot Google indeksujący strony,
- Googlebot-News – odpowiada za pojawianie się stron w wiadomościach,
- Googlebot-Image – odpowiada za indeksowanie grafiki,
- Googlebot-Video – odpowiada za sprawdzanie i indeksowanie filmów,
- Adsbot-Google – sprawdza jakość reklam na stronie (format na komputer),
- Adsbot-Google-Mobile – sprawdza jakość reklam na stronie w wersji mobilnej,
- Mediapartners-Google – czyli robot indeksujący AdSense, analizuje witrynę w celu określenia jej zawartości, co jest potrzebne do wyświetlania odpowiednich reklam,
- APIs-Google – robot stosowany w interfejsach Google API do dostarczania komunikatów z powiadomieniami push.