Meta Robots – czyli metatag robots, jest ściśle powiązany z procesem indeksowania i wyświetlania stron internetowych przez roboty wyszukiwarki. Umieszczany jest w sekcji <head> danej strony. Stosowanie metatagu robots na stronie informuje roboty w jaki sposób mają indeksować i wyświetlać stronę oraz czy proces skanowania strony jest potrzebny.
Przykład zastosowania meta robots
<!DOCTYPE html>
<html><head>
<meta name=”robots” content=”noindex” /> zakaz indeksowania strony przez wszystkie roboty
(…)
</head>
<body>(…)</body>
</html>
Atrybut noindex informuje roboty, że dana strona lub podstrona nie ma być indeksowana i wyświetlana w wynikach wyszukiwania.
W meta name, należy wpisać nazwę robota np. Googlebot jeżeli informacja ma dotyczyć tylko przeglądarki Google.
Inne stosowane atrybuty metatagu robots
Dyrektywa nofollow
Dyrektywa nofollow blokuje podążanie linkami robotom wyszukiwarki. Jeżeli nie jest określona, to roboty Google będą podążać za wszystkimi linkami znajdującymi się na stronie.
Przykład
<!DOCTYPE html>
<html><head>
<meta name=”Googlebot” content=”nofollow”/>
</head>
<body>(…)</body>
</html>
Dyrektywa noarchive
Dyrektywa noarchive historycznie uniemożliwiała wyświetlanie linku z pamięci podręcznej w wynikach wyszukiwania. Warto jednak wiedzieć, że Google od 2024 roku całkowicie wycofało funkcję zapisanych kopii stron (cache), dlatego dyrektywa noarchive nie ma już żadnego wpływu na sposób prezentacji strony w wynikach tej wyszukiwarki – jej działanie może się jednak różnić w przypadku innych robotów, np. Bing.
Przykład
<!DOCTYPE html>
<html><head>
<meta name=”robots” content=”noarchive”/>
(…)
</head>
<body>(…)</body>
</html>
Dyrektywa nosnippet
Dyrektywa nosnippet blokuje wyświetlanie krótkiego opisu i podglądu filmu z tej strony w wynikach wyszukiwania, a więc uniemożliwia pojawienie się tak zwanych rich snippets pod adresem danej podstrony. Jeżeli nie jest określona, to Google może wygenerować krótki opis i podgląd filmu na podstawie informacji znalezionych na stronie.
Przykład
<!DOCTYPE html>
<html><head>
<meta name=”robots” content=”nosnippet”/>
</head>
<body>(…)</body>
</html>
Meta robots a robots.txt – podstawowe różnice
Metatag robots bywa mylony z plikiem robots.txt, jednak są to dwa niezależne od siebie mechanizmy kontroli robotów. Plik robots.txt umieszcza się w głównym katalogu witryny i zarządza on dostępem robotów do całych sekcji strony jeszcze przed jej odwiedzeniem, natomiast metatag robots działa wyłącznie na poziomie konkretnej podstrony, na której zostanie umieszczony w kodzie. W praktyce oba narzędzia najlepiej stosować komplementarnie, dopasowując je do struktury i celów danej witryny.