Sitemap XML pomaga wyszukiwarce odkrywać adresy, które właściciel serwisu uważa za przeznaczone do indeksowania. Plik robots.txt określa natomiast, do których obszarów robot może wysyłać żądania. Te mechanizmy pełnią różne funkcje i nie powinny przekazywać sprzecznych instrukcji.
Umieszczenie URL-a w mapie nie gwarantuje indeksowania. Zablokowanie adresu w robots.txt nie jest natomiast pewną metodą usunięcia go z wyników. Prawidłowa konfiguracja zaczyna się od ustalenia, które strony mają być dostępne, indeksowalne i przedstawiane jako wersje kanoniczne.
Co powinna zawierać sitemap XML?
Do podstawowej mapy należy dodawać adresy, które:
- zwracają kod 200,
- mogą być indeksowane,
- wskazują jako canonical własny adres,
- zawierają wartościową treść dla użytkownika,
- nie są tylko filtrem, wynikiem wyszukiwania albo parametrem śledzącym.
W mapie nie powinny znajdować się strony z przekierowaniem, błędem 404, dyrektywą noindex ani canonicalem prowadzącym do innego URL-a. Ich obecność nie zmusza Google do indeksowania, ale utrudnia interpretację raportów i wykrywanie faktycznych problemów.
Czy sitemap zastępuje linkowanie wewnętrzne?
Mapa pomaga odkryć adres, ale nie zastępuje struktury serwisu. Ważna strona usługi lub kategorii powinna mieć prowadzące do niej zwykłe linki HTML.
Jeżeli URL występuje wyłącznie w sitemapie, warto sprawdzić:
- czy nie jest stroną osieroconą,
- czy użytkownik może dotrzeć do niego z nawigacji,
- czy nadal pełni potrzebną funkcję,
- czy przypadkiem nie został dodany automatycznie przez wadliwy generator.
Mapa powinna odzwierciedlać uporządkowany serwis, a nie stanowić magazyn wszystkich adresów utworzonych przez CMS.
Jak dzielić duże mapy witryny?
Pojedyncza sitemap może zawierać maksymalnie 50 000 adresów i mieć do 50 MB po rozpakowaniu. Większy serwis wymaga kilku plików połączonych indeksem map.
Nawet przy mniejszej liczbie adresów warto podzielić mapy według funkcji, np. na:
- produkty,
- kategorie,
- usługi,
- artykuły,
- lokalizacje,
- obrazy albo materiały wideo.
Taki podział ułatwia ustalenie, czy problem dotyczy całego serwisu, czy jednego typu stron. Jeśli błędy występują wyłącznie w mapie produktów, można szybciej powiązać je z szablonem lub integracją magazynową.
Jak prawidłowo używać lastmod?
Znacznik lastmod powinien wskazywać datę istotnej zmiany treści, a nie moment każdego wygenerowania pliku. Aktualizacja stopki, licznika odsłon albo elementu technicznego nie musi oznaczać zmiany zawartości całej strony.
Jeżeli system ustawia dzisiejszą datę dla wszystkich URL-i przy każdym odświeżeniu mapy, informacja traci wartość. Podobnie jest z datą, która nigdy nie zmienia się mimo aktualizacji produktu lub artykułu.
Nie należy natomiast budować strategii indeksowania na polach priority i changefreq. Google ich nie wykorzystuje. Znacznie ważniejsze są aktualne adresy, poprawne daty modyfikacji i spójne linkowanie.
Do czego służy robots.txt?
Plik robots.txt znajduje się w katalogu głównym hosta, np.:
https://example.pl/robots.txt
Może ograniczać pobieranie wybranych ścieżek przez określone roboty. Stosuje się go między innymi do obszarów generujących dużą liczbę technicznych kombinacji albo zasobów, których robot nie musi przeglądać.
robots.txt nie jest:
- mechanizmem ochrony danych,
- zamiennikiem logowania i autoryzacji,
- pewnym sposobem wycofania URL-a z indeksu,
- miejscem do blokowania wszystkich niechcianych stron bez analizy.
Zawartość pliku jest publiczna. Poufne dane należy zabezpieczyć na poziomie serwera i uprawnień.
Dlaczego blokada w robots.txt może utrudnić usunięcie strony?
Jeżeli robot nie może pobrać adresu, może nie zobaczyć dyrektywy noindex znajdującej się w kodzie strony. Sam zablokowany URL może też zostać rozpoznany na podstawie prowadzących do niego linków.
Jeżeli celem jest wycofanie strony z indeksowania, trzeba umożliwić jej pobranie i zwrócić właściwy kod albo dyrektywę. Dopiero po przetworzeniu zmiany można rozważyć dodatkowe ograniczenie crawlowania, jeśli istnieje techniczna potrzeba.
Jak połączyć sitemap i robots.txt?
Adres mapy można wskazać w robots.txt:
Sitemap: https://example.pl/sitemap_index.xml
Mapa powinna być także przesłana w Google Search Console. Nie trzeba dodawać osobnej dyrektywy dla każdego robota, jeżeli wszystkie mają korzystać z tego samego pliku.
Najważniejsza jest spójność:
- URL w sitemapie nie powinien być blokowany,
- powinien zwracać kod 200,
- nie powinien mieć dyrektywy noindex,
- jego canonical powinien odpowiadać adresowi z mapy,
- linki wewnętrzne powinny używać tej samej wersji.
Najczęstsze błędy konfiguracji
- Zablokowanie całego serwisu po przeniesieniu ustawień ze środowiska testowego.
- Dodawanie do map parametrów, przekierowań i stron błędów.
- Umieszczanie adresów HTTP obok aktualnych adresów HTTPS.
- Sprzeczność między sitemapą, canonicalem i hreflang.
- Blokowanie plików potrzebnych do prawidłowego renderowania strony.
- Generowanie mapy zawierającej wszystkie strony utworzone przez CMS, niezależnie od ich jakości.
- Brak aktualizacji mapy po usunięciu produktów albo po migracji.
W serwisie testowym szeroka blokada może być zamierzona. Podczas publikacji trzeba jednak traktować jej usunięcie jako obowiązkowy punkt odbioru.
Jak przeprowadzić kontrolę techniczną?
- Otwórz robots.txt i sprawdź reguły dla właściwego hosta.
- Pobierz wszystkie mapy i zweryfikuj kody odpowiedzi zawartych adresów.
- Porównaj URL-e z canonicalami oraz dyrektywami robots.
- Sprawdź, czy ważne strony mają linki wewnętrzne.
- Przeanalizuj raport map i indeksowania w Search Console.
- Po zmianie generatora, CMS-a lub domeny powtórz kontrolę.
Oficjalne zasady publikacji opisują dokumentacje Google dotyczące map witryny i pliku robots.txt.
Jeżeli sitemap zawiera tysiące niespójnych adresów albo nie masz pewności, co blokuje robots.txt, mogę przeanalizować oba mechanizmy w ramach audytu SEO. Kontakt: czesc@seomariusz.pl, telefon 665 015 610.