Indeksowalność

Indeksowalność to parametr monitoringu stron internetowych, który sprawdza, czy strona nie prosi wyszukiwarek o pominięcie jej w wynikach wyszukiwania. Pomiar szuka reguły noindex w dwóch miejscach: w znaczniku meta o nazwie robots w kodzie HTML i w nagłówku odpowiedzi HTTP X-Robots-Tag. Wynikiem jest informacja, czy taka reguła jest obecna. Reguła noindex oznacza, że strony, pliku multimedialnego albo zasobu nie należy pokazywać w wynikach wyszukiwania ^[1].

Jak działa

Znacznik meta robots pozwala sterować indeksowaniem pojedynczej strony HTML i umieszcza się go w sekcji head ^[1]. Te same reguły można przekazać nagłówkiem X-Robots-Tag w odpowiedzi HTTP dla danego adresu URL ^[1]. Nagłówek sprawdza się tam, gdzie znacznika w HTML nie da się użyć, na przykład przy plikach graficznych ^[1]. Według Google obie metody wdrożenia noindex działają tak samo, a wybór zależy od wygody i typu treści ^[2].

Reguły można kierować do konkretnego robota. W znaczniku meta Google obsługuje dwa tokeny: googlebot dla wyników tekstowych i googlebot-news dla wiadomości, a inne wartości pomija ^[1]. Nagłówek X-Robots-Tag może zawierać nazwę robota przed regułami, np. googlebot: nofollow ^[1]. Wielkość liter w nazwach i wartościach nie ma znaczenia ^[1]. Gdy reguły się wykluczają, obowiązuje bardziej restrykcyjna ^[1]. Reguła none jest równoważna parze noindex, nofollow ^[1].

RYS. 1.1Googlebot odczytuje reguły strony

Reguła działa dopiero wtedy, gdy robot ją odczyta. Po pobraniu strony i wydobyciu znacznika albo nagłówka Google usuwa stronę z wyników wyszukiwania w całości, niezależnie od linków z innych witryn ^[2]. Ponowne odwiedziny robota mogą jednak nastąpić dopiero po miesiącach, zależnie od znaczenia strony ^[2].

RYS. 1.2Od noindex do wypadnięcia z indeksu

Standardy i specyfikacje

• Specyfikacja Google opisuje znacznik meta robots i nagłówek X-Robots-Tag, obsługiwane reguły, tokeny robotów i zasadę pierwszeństwa bardziej restrykcyjnej reguły ^[1].
• noindex a robots.txt. Plik robots.txt określa, które adresy robot może pobierać, i służy głównie do ograniczania obciążenia serwera; nie jest mechanizmem wykluczania strony z Google ^[3]. Strona zablokowana w robots.txt może zostać zaindeksowana, jeśli prowadzą do niej linki z innych miejsc, a wynik pojawia się wtedy bez opisu ^[3]. Żeby noindex zadziałał, zasób nie może być zablokowany w robots.txt ^[2]. Jeśli jest, robot nie znajdzie reguł indeksowania i je pominie ^[1].
• WordPress. Na ekranie Ustawienia → Czytanie opcja „Proś wyszukiwarki o nieindeksowanie witryny” prosi wyszukiwarki o pominięcie witryny ^[4]. Od wersji 5.3 włączenie jej dodaje do sekcji head znacznik meta robots z wartością noindex,nofollow, a do wersji 5.2 plik robots.txt odpowiadał regułą Disallow: / ^[4]. Zmianę uzasadniono tym, że strona nie musi być pobierana, by trafić do wyników, i że chodzi o zniechęcenie do wyświetlania witryny, a nie tylko do jej pobierania ^[5]. Opcja nie blokuje dostępu do witryny; respektowanie prośby zależy od wyszukiwarek ^[4].
• Funkcje WordPressa. Od wersji 5.7 funkcja wp_robots() zbiera reguły przez filtr wp_robots i wypisuje znacznik tylko wtedy, gdy jest co najmniej jedna reguła ^[6]. Funkcja wp_robots_noindex() dodaje noindex, gdy opcja blog_public jest wyłączona ^[7]. Funkcja wp_robots_no_robots() zawsze dodaje noindex, a do tego nofollow dla witryny niepublicznej albo follow dla publicznej ^[8].

Zagrożenia i skutki

Reguła pozostawiona po pracach nad witryną. Google w wytycznych dotyczących przenoszenia witryn zauważa, że część właścicieli blokuje pobieranie całej witryny w czasie jej budowy ^[9]. Zaleca przygotowanie listy adresów, z których reguły noindex zostaną usunięte przy rozpoczęciu przeniesienia, i przypomina o usunięciu reguł noindex i blokad w robots.txt potrzebnych tylko na czas migracji ^[9]. Pozostawiona reguła na produkcji prowadzi do usunięcia stron z wyników po ich ponownym pobraniu ^[2].

Reguła w nagłówku. Nagłówek X-Robots-Tag należy do odpowiedzi HTTP, a nie do kodu strony ^[1]. Dodaje się go między innymi w plikach konfiguracyjnych serwera WWW, na przykład .htaccess i httpd.conf w Apache ^[1]. Przegląd samego HTML takiej reguły nie ujawni.

noindex połączony z blokadą w robots.txt. Jeśli adres ma regułę noindex, a jednocześnie jest zablokowany w robots.txt, robot nie zobaczy reguły, a strona może nadal pojawiać się w wynikach ^[2]. Taki zestaw daje odwrotny skutek od zamierzonego.

Opóźniony skutek. Usunięcie strony z indeksu i jej powrót po zdjęciu reguły wymagają ponownego pobrania, które może nastąpić po długim czasie ^[2]. Google udostępnia raport indeksowania stron w Search Console do śledzenia stron, z których odczytano noindex ^[2].

Przykłady

Konfiguracja	Co zobaczy robot	Skutek w wynikach
meta name="robots" content="noindex" w head	reguła w HTML [1]	strona usunięta z wyników [2]
nagłówek X-Robots-Tag: noindex	reguła w odpowiedzi HTTP [1]	ten sam skutek co znacznik [2]
meta name="googlebot" content="noindex"	reguła tylko dla robota Google [1]	inne wyszukiwarki jej nie dotyczą [1]
content="none"	odpowiednik noindex, nofollow [1]	strona usunięta z wyników [2]
noindex i Disallow w robots.txt	robot nie pobiera strony, reguły nie widzi [1]	adres może zostać w wynikach bez opisu [3]
WordPress z opcją nieindeksowania	meta robots noindex,nofollow [4]	prośba do wyszukiwarek, dostęp bez zmian [4]