Sitemap.xml

Sitemap.xml to parametr monitoringu stron internetowych, który sprawdza, czy serwis udostępnia mapę witryny pod jednym z typowych adresów: /sitemap.xml, /sitemap_index.xml albo /wp-sitemap.xml, czy plik da się pobrać i odczytać jako XML oraz ile adresów stron zawiera. Wynikiem pomiaru jest obecność mapy, adres, pod którym ją znaleziono, i liczba adresów URL; nagła zmiana tej liczby jest sygnałem do sprawdzenia serwisu. Mapy witryn są prostym sposobem, w jaki właściciele serwisów informują wyszukiwarki o stronach dostępnych do przeszukiwania przez roboty ^[1].

Jak działa

Google opisuje mapę witryny jako plik z informacjami o stronach, filmach i innych plikach w serwisie oraz o relacjach między nimi ^[3]. Mapa pomaga wyszukiwarce wydajniej przeszukiwać serwis: wskazuje, które strony właściciel uważa za ważne, i podaje metadane, na przykład datę ostatniej aktualizacji ^[3].

W protokole Sitemaps mapa jest plikiem XML. Wymagane są trzy znaczniki: <urlset> jako element główny, <url> dla każdego wpisu i <loc> z adresem strony ^[2]. Opcjonalne pole <lastmod> podaje się w formacie W3C Datetime, a część z godziną można pominąć i zapisać samą datę RRRR-MM-DD ^[2]. Plik musi być kodowany w UTF-8, a znaki specjalne, takie jak &, zapisuje się jako encje ^[2]. Wszystkie adresy w mapie muszą pochodzić z jednego hosta i leżeć w katalogu mapy albo w jego podkatalogach ^[2].

Gdy map jest kilka, łączy je plik indeksu ze znacznikami <sitemapindex>, <sitemap> i <loc> ^[2]. Indeks może wskazywać wyłącznie mapy z tego samego serwisu co on sam ^[2]. O mapie wyszukiwarka dowiaduje się ze zgłoszenia w jej narzędziach albo z dyrektywy Sitemap: w pliku robots.txt; dyrektywa nie zależy od linii User-agent, więc jej miejsce w pliku nie ma znaczenia ^[2]. Google przyjmuje mapy przez raport map witryn w Search Console, przez API Search Console i przez dyrektywę w robots.txt ^[4].

RYS. 1.1Od indeksu map do podstrony

Mapa jest wskazówką, a nie poleceniem. Protokół Sitemaps nie gwarantuje, że strony trafią do wyszukiwarki, tylko pomaga robotom lepiej przeszukiwać serwis ^[1]. Według Google mapa pomaga odkrywać adresy, ale nie gwarantuje, że wszystkie jej pozycje zostaną przeszukane i zindeksowane ^[3], a samo zgłoszenie mapy nie gwarantuje nawet, że Google ją pobierze ^[4]. Google pomija wartości <priority> i <changefreq>, a <lastmod> bierze pod uwagę, gdy jest konsekwentnie i sprawdzalnie dokładne ^[4]. Mapa przydaje się zwłaszcza serwisom dużym (zwykle powyżej 500 stron), nowym, z niewielką liczbą linków z zewnątrz, oraz bogatym w filmy, obrazy i wiadomości ^[3].

Standardy i specyfikacje

• Protokół Sitemaps ogranicza jeden plik mapy do 50 000 adresów i 50 MB (52 428 800 bajtów). Plik można skompresować gzipem, ale po rozpakowaniu nie może przekroczyć 50 MB. Ten sam limit, 50 000 map i 50 MB, dotyczy pliku indeksu ^[2].
• Google Search Central stosuje te limity do wszystkich formatów map; większy zbiór adresów trzeba podzielić na kilka map. Adresy mają być pełne i bezwzględne, a plik kodowany w UTF-8 ^[4].
• WordPress 5.5 wprowadził do rdzenia podstawowe, rozszerzalne mapy witryn z indeksem pod /wp-sitemap.xml ^[5]. Pojedyncza mapa mieści domyślnie najwyżej 2000 pozycji, a limit można zmienić filtrem ^[5]. Plik robots.txt generowany przez WordPressa wskazuje indeks map, a filtr wp_sitemaps_enabled pozwala zmienić domyślne zachowanie ^[5].
• Yoast SEO udostępnia indeks pod /sitemap_index.xml, a żądania /sitemap.xml przekierowuje na ten adres ^[6]. Domyślnie jedna mapa zawiera najwyżej 1000 pozycji, a wpis indeksu ma pola loc i lastmod ^[6].
• Rank Math tworzy indeks map pod /sitemap_index.xml ^[8]. Domyślna liczba linków w jednej mapie wynosiła wcześniej 1000; producent obniżył ją do zalecanych 200 ^[8].

Zagrożenia i skutki

Brak mapy. Mały serwis z dobrym linkowaniem wewnętrznym może mapy nie potrzebować, a dużemu albo nowemu jej brak utrudnia wydajne przeszukiwanie ^[3]. W WordPressie zmiana ustawienia widoczności tak, by zniechęcać wyszukiwarki do indeksowania, wyłącza mapy rdzenia ^[5]. Zniknięcie /wp-sitemap.xml może więc towarzyszyć zablokowaniu indeksowania całego serwisu.

Spadek liczby adresów. Yoast SEO nie umieszcza w mapie stron, które wysyłają dyrektywę noindex w znaczniku meta albo w nagłówku HTTP ^[6]. Nagły spadek liczby adresów może więc oznaczać, że część treści oznaczono jako wyłączoną z indeksu.

Kilka generatorów naraz. Mapa pod /sitemap.xml, której nie utworzył Yoast SEO, pochodzi według producenta zwykle z innej wtyczki albo z rdzenia WordPressa; przed włączeniem map wtyczki zaleca on wyłączenie innych wtyczek map i usunięcie fizycznych plików ^[7]. Generatory dzielą adresy na mapy różnej wielkości ^{[5] [6] [8]}, dlatego porównuje się łączną liczbę adresów, a nie liczbę plików.

Spam SEO po włamaniu. Atak znany jako Japanese keyword hack tworzy w serwisie nowe strony z automatycznie generowanym japońskim tekstem w katalogach o losowych nazwach ^[9]. Atakujący często modyfikują mapę witryny albo dodają nowe mapy, żeby ich adresy szybciej trafiły do indeksu ^[9]. Zwykle dopisują się też jako właściciele serwisu w Search Console, by zmieniać ustawienia, takie jak kierowanie geograficzne czy mapy ^[9]. Stosują maskowanie treści (ang. cloaking), żeby właściciel uznał stronę za naprawioną; podejrzane strony w indeksie pomaga znaleźć wyszukiwanie z operatorem site: ^[9]. Nagły wzrost liczby adresów w mapie nie przesądza o włamaniu, bo może wynikać z importu treści, ale uzasadnia sprawdzenie, jakie adresy doszły.

RYS. 1.2Od wzrostu liczby URL do podejrzenia

Przykłady

Sytuacja	Co widać w mapie	Typowa przyczyna
WordPress bez wtyczki SEO	indeks /wp-sitemap.xml, do 2000 pozycji w mapie [5]	mapy rdzenia od wersji 5.5 [5]
Yoast SEO	indeks /sitemap_index.xml, /sitemap.xml przekierowuje [6]	mapy wtyczki, do 1000 pozycji w mapie [6]
Rank Math	indeks /sitemap_index.xml [8]	zalecane 200 linków w mapie [8]
Mapa rdzenia niedostępna	brak indeksu /wp-sitemap.xml	zniechęcanie wyszukiwarek w ustawieniach albo filtr wp_sitemaps_enabled [5]
Spadek liczby adresów	mniej pozycji w <urlset>	strony oznaczone noindex wypadają z mapy [6]
Nagły wzrost liczby adresów	tysiące adresów w losowych katalogach	spam SEO po włamaniu, zmieniona lub dodana mapa [9]
Mapa ponad limit	ponad 50 000 adresów albo 50 MB w jednym pliku [2]	brak podziału na kilka map z indeksem [4]