Blokowanie indeksowania Nie każdy adres URL w obrębie domeny powinien być indeksowany przez wyszukiwarkę. Przykładem są strony archiwalne, strony testowe, koszyki w sklepach internetowych, a także zasoby wyświetlane dopiero po zalogowaniu na konkretny portal internetowy. Dlatego administrator domeny może zablokować indeksowanie wybranych adresów URL. W tym celu umieszcza się w sekcji <head> strony internetowej atrybut noindex. Noindex Tag to specjalny tag HTML, którego używa się w celu ukrycia niechcianych lub duplikujących się treści przed wyszukiwarkami. Zapobiega problemom z powtarzającymi się wynikami wyszukiwania. Choć jest to sposób na blokadę indeksowania, Noindex Tag nie ogranicza działania robotów wyszukiwarek na stronie.
Robot indeksujący może być również poinformowany o tym, aby nie indeksować danego adresu URL przy pomocy pliku robots.txt.
Zobacz też Optymalizacja dla wyszukiwarek internetowych Algorytm Google Przekierowanie URL
Przypisy
Kategoria:Wyszukiwarki internetowe