User-Agent – jest to nagłówek identyfikacyjny aplikacji klienckiej, która informuje, z jakiego rodzaju oprogramowania (na przykład wyszukiwarki, przeglądarki) korzysta dany internauta.
Roboty Google posiadają swój własny user-agent, dlatego też są rozpoznawane przez oprogramowanie. Jeżeli strona www zawiera plik robots.txt, to dzięki user-agent robot może zostać zablokowany i nie dostanie się na daną stronę lub podstronę.
Przykłady user-agent
- user-agent dla głównego robota Google: “Googlebot/2.1 (+http://www.google.com/bot.html)” lub w pliku robots.txt – Googlebot
- user-agent dla robota indeksującego wiadomości: Googlebot-News
- user-agent dla robota indeksującego grafikę: Googlebot-Image/1.0u
- user-agent robota AdSense: Mediapartners-Google
- user-agent komputerowego Googlebota: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html); Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36; Googlebot/2.1 (+http://www.google.com/bot.html)