Sitemap XML pomaga wyszukiwarce odnaleźć adresy strony, natomiast plik robots.txt określa, do których zasobów robot może uzyskać dostęp. Żaden z tych plików nie gwarantuje indeksowania. Nie zastępują też linkowania wewnętrznego, prawidłowych adresów kanonicznych ani wartościowej treści.
Czym różnią się sitemap XML, robots.txt, noindex i canonical?
- Sitemap XML przekazuje listę preferowanych adresów, które wyszukiwarka powinna znać.
- Robots.txt zarządza dostępem robotów do określonych części witryny.
- Noindex informuje, że dana strona nie powinna znaleźć się w indeksie.
- Canonical wskazuje preferowany adres w grupie takich samych lub bardzo podobnych stron.
Elementy te rozwiązują różne problemy. Używanie ich zamiennie może doprowadzić do sprzecznych sygnałów i pogorszenia indeksowania.
Jak powinna wyglądać prawidłowa mapa witryny?
W sitemapie warto umieszczać przede wszystkim adresy, które:
- zwracają kod odpowiedzi 200,
- mogą zostać zaindeksowane,
- mają samodzielną wartość dla użytkownika,
- są preferowanymi adresami kanonicznymi,
- mają zostać odnalezione i wyświetlane w wynikach.
Mapa nie powinna być archiwum wszystkich URL-i wygenerowanych przez system. Zwykle należy usunąć z niej przekierowania, błędy 404, strony oznaczone noindex, duplikaty, niepotrzebne parametry i adresy kanoniczne prowadzące do innych podstron.
Zgodnie z dokumentacją Google dotyczącą map witryn pojedynczy plik może zawierać maksymalnie 50 000 adresów i mieć do 50 MB po rozpakowaniu. Większe serwisy powinny korzystać z indeksu map.
Czy priority i changefreq poprawiają indeksowanie?
Google ignoruje wartości <priority> oraz <changefreq>. Nie warto więc poświęcać czasu na sztuczne ustawianie najwyższego priorytetu wszystkim adresom.
Znacznik <lastmod> może być przydatny, jeśli wskazuje datę rzeczywistej, istotnej zmiany. Automatyczne wpisywanie bieżącej daty przy każdym wygenerowaniu mapy sprawia, że informacja przestaje być wiarygodna.
Do czego służy robots.txt?
Plik robots.txt znajduje się zwykle pod adresem:
https://domena.pl/robots.txt
Może wskazać obszary, do których robot nie powinien wchodzić, oraz lokalizację mapy witryny. Przykładowa, uproszczona zawartość może wyglądać tak:
User-agent: * Disallow: /koszyk/ Disallow: /moje-konto/ Sitemap: https://domena.pl/sitemap_index.xml
Reguły zawsze trzeba dopasować do konkretnego systemu. Skopiowanie pliku z innej witryny może przypadkowo zablokować ważne kategorie, produkty, zasoby CSS albo JavaScript.
Czy robots.txt usuwa stronę z Google?
Nie. Robots.txt służy do kontrolowania dostępu robota, a nie do usuwania adresu z indeksu. Zablokowany URL może nadal pojawić się w wynikach, jeśli Google pozna go z linków albo innych źródeł.
Jeśli strona ma zniknąć z indeksu, można zastosować dyrektywę noindex. Robot musi jednak mieć dostęp do strony, aby ją odczytać. Jednoczesne zablokowanie adresu w robots.txt może uniemożliwić zauważenie znacznika noindex. Wyjaśnia to dokumentacja dotycząca blokowania indeksowania.
Dlaczego adres może nie zostać zaindeksowany mimo obecności w sitemapie?
Obecność w mapie jest tylko wskazówką. Google może nie zaindeksować adresu między innymi wtedy, gdy:
- strona jest duplikatem innego URL-a,
- canonical wskazuje inny adres,
- treść jest bardzo podobna do zawartości innych podstron,
- adres zwraca błąd lub niestabilną odpowiedź serwera,
- strona jest osierocona i nie prowadzą do niej linki wewnętrzne,
- jej zawartość nie odpowiada na rozpoznawalną potrzebę użytkownika,
- witryna generuje bardzo dużo niepotrzebnych URL-i,
- Google nie ma wystarczających sygnałów, aby uznać stronę za wartą indeksowania.
Samo ponowne przesłanie mapy nie naprawi tych problemów.
Jak diagnozować problemy z indeksowaniem?
- Sprawdź adres w narzędziu kontroli URL w Google Search Console.
- Zweryfikuj kod odpowiedzi serwera.
- Sprawdź robots.txt, noindex oraz nagłówki HTTP.
- Porównaj canonical deklarowany przez stronę z wybranym przez Google.
- Ustal, czy adres znajduje się w sitemapie.
- Sprawdź, skąd prowadzą do niego linki wewnętrzne.
- Porównaj treść z innymi podstronami serwisu.
- Oceń, czy strona realizuje odrębną intencję i ma wartość biznesową.
Po wprowadzeniu istotnych zmian można poprosić Google o ponowne sprawdzenie adresu. Nie ma jednak potrzeby wielokrotnego wysyłania tego samego URL-a bez usunięcia przyczyny problemu.
Najczęstsze błędy w sitemap XML i robots.txt
- umieszczenie w mapie adresów przekierowanych lub usuniętych,
- dodawanie stron noindex do mapy,
- blokowanie ważnych sekcji sklepu albo serwisu,
- blokowanie strony z dyrektywą noindex,
- podawanie nieprawdziwych dat modyfikacji,
- pozostawienie testowej blokady po uruchomieniu nowej strony,
- tworzenie kilku sprzecznych wersji mapy,
- traktowanie sitemapy jako zamiennika nawigacji i linkowania.
Mapa witryny jest elementem większego procesu
Problemy z indeksacją często nie wynikają z jednego pliku. Mogą być skutkiem architektury informacji, duplikacji, niskiej jakości części adresów, błędów serwera lub niewłaściwego linkowania.
Jeżeli chcesz ustalić przyczynę problemu, sprawdź, co obejmuje audyt SEO. Po analizie mogę również przeprowadzić optymalizację SEO strony i wdrożyć uzgodnione poprawki.
Zadzwoń pod numer 665 015 610 albo wyślij adres witryny na czesc@seomariusz.pl.