Crawl budget to jedno z bardziej podstawowych pojęć związanych z SEO. Jeśli chcesz, aby Twoja strona indeksowała się w szybkim tempie – a co za tym idzie, była lepiej oceniana przez roboty Google – powinieneś zaznajomić się, choć z podstawowymi kwestiami tego zagadnienia.
Z artykułu dowiesz się:
- Czym jest crawl budget?
- Czym jest crawl rate limit?
- Czym jest crawl demand?
- Jak crawl budget wpływa na SEO i jak go zoptymalizować?
Czym jest crawl budget?
Crawl budget, czy też budżet indeksowania witryny, to po prostu poziom uwagi, jaką danej stronie poświęcą roboty wyszukiwarki google. Crawl budget określa, jaką liczbę podstron robot Google zaindeksuje w ramach pojedynczej wizyty na Twojej stronie. Pamiętaj, że indeksowanie stron jest dla Google procesem kosztownym – dlatego też każdego dnia roboty mogą indeksować jedynie określoną liczbę podstron twojej witryny (jest to właśnie “budżet”).
O ile Twoja witryna posiada kilkadziesiąt, czy kilkaset takich podstron, i nic nie wskazuje na to, by w najbliższym czasie miało się to zmienić – zagadnienie to niezbyt Cię dotyczy. Jeśli jednak planujesz jej stały rozwój, a wraz z nim rozbudowanie witryny o kolejne strony, czy nawet tysiące podstron, powinieneś ustalić, co i kiedy warto poddać crawlingowi.
Z zagadnieniem budżetu indeksowania bezpośrednio powiązane są także crawl rate limit oraz crawl rate demand.
Czym jest crawl rate limit?
Limit indeksowania został wprowadzony przez Google po to, aby zapobiec możliwym przeciążeniom serwera witryny podczas crawlowania. Dzięki temu strona w trakcie procesu crawlowania nie będzie działać wolniej dla użytkowników. Element ten jest zresztą bezpośrednio dopasowany do wydajności serwera i szybkości działania strony. Im szybciej ona działa, im bardziej wydajny jest serwer – tym więcej podstron boty będą w stanie analizować w tym samym czasie. Jeśli zależy Ci więc na zwiększeniu tego limitu, upewnić się powinieneś, że Twoja strona internetowa działa w odpowiednim tempie.
Możesz samodzielnie sprawdzić, ile razy w ciągu dnia adresy WWW Twojej witryny są indeksowane przez roboty Google. Dane te znajdziesz w dzienniku serwera – im wyższy wynik, tym lepiej.
Czym jest crawl demand?
Określenie “crawl demand” można przetłumaczyć jako “częstotliwość indeksacji”. Jak nietrudno się domyśleć – informuje nas ono o tym, jak często boty Google “zaglądają” na Twoją stronę internetową. Współczynnik ten jest znacząco wyższy w przypadku tych witryn, które są popularne i chętnie odwiedzane przez użytkowników. Parametr ten zależy także od częstotliwości aktualizacji treści – roboty indeksujące “wiedzą”, które witryny są częściej aktualizowane i badają je częściej, aby zapewnić użytkownikowi dostęp do świeższych informacji.
Oczywiście, nie oznacza to, że aby crawl budget wzrósł, wystarczy zapchać witrynę niskiej jakości treścią. Przeciwnie – postępowanie takie sprawi, że zostanie ona oceniona bardzo nisko. Musisz więc dokładnie przemyśleć content, jaki publikujesz na stronie.
Jak crawl budget wpływa na SEO i jak go zoptymalizować?
Crawl Budget ma zatem bezpośredni wpływ na szybkość indeksowania strony. Warto o tym pamiętać, szczególnie wtedy, jeśli często aktualizujesz jej treść, lub dodajesz nowe podstrony. Im szybszy ten proces, tym niższe ryzyko utraty ruchu z podstron, które nie zostały jeszcze zcrawlowane.
Aby zwiększyć crawl budget, warto przenieść stronę na nowy, lepszy serwer, dzięki czemu strona siłą rzeczy sama stanie się szybsza. Pamiętaj też o zoptymalizowaniu pliku robots.txt, zawierającego swego rodzaju instrukcje dla botów Google dotyczące tego, jak ją indeksować. Pozwoli Ci to nakazać robotom pominięcie stron mało ważnych i tych, których indeksacji z różnych przyczyn nie chcesz. Dość podobne zadanie spełniają linki nofollow – instruują one roboty Google, które strony nie powinny być skanowane. Prawdopodobnie najlepszą metodą jest zaś skonstruowanie poprawnej mapy strony (sitemap.xml) i zgłoszenie jej w Google Search Console.