Meta Robots – czyli metatag robots, jest ściśle powiązany z procesem indeksowania i wyświetlania stron internetowych przez roboty wyszukiwarki. Umieszczany jest w sekcji <head> danej strony. Stosowanie metatagu robots na stronie informuje roboty w jaki sposób mają indeksować i wyświetlać stronę oraz czy proces skanowania strony jest potrzebny.
Przykład zastosowania meta robots
<!DOCTYPE html>
<html><head>
<meta name=”robots” content=”noindex” /> zakaz indeksowania strony przez wszystkie roboty
(…)
</head>
<body>(…)</body>
</html>
Atrybut noindex informuje roboty, że dana strona lub podstrona nie ma być indeksowana i wyświetlana w wynikach wyszukiwania.
W meta name, należy wpisać nazwę robota np. Googlebot jeżeli informacja ma dotyczyć tylko przeglądarki Google.
Inne stosowane atrybuty metatagu robots
Dyrektywa nofollow
Dyrektywa nofollow blokuje podążanie linkami robotom wyszukiwarki. Jeżeli nie jest określona, to roboty Google będą podążać za wszystkimi likami znajdującymi się na stronie.
Przykład
<!DOCTYPE html>
<html><head>
<meta name=”Googlebot” content=”nofollow”/>
</head>
<body>(…)</body>
</html>
Dyrektywa noarchive
Dyrektywa noarchive uniemożliwia wyświetlanie linku z pamięci podręcznej w wynikach wyszukiwania. Jeżeli nie jest określona, Google może wygenerować stronę w pamięci podręcznej.
Przykład
<!DOCTYPE html>
<html><head>
<meta name=”robots” content=”noarchive”/>
(…)
</head>
<body>(…)</body>
</html>
Dyrektywa nosnippet
Dyrektywa nosnippet blokuje wyświetlanie krótkiego opisu i podglądu filmu z tej strony w wynikach wyszukiwania. Jeżeli nie jest określona, to Google może wygenerować krótki opis i podgląd filmu na podstawie informacji znalezionych na stronie.
Przykład
<!DOCTYPE html>
<html><head>
<meta name=”robots” content=”nosnippet”/>
</head>
<body>(…)</body>
</html>