Crawl budget je počet stránok, ktoré Googlebot prejde a stiahne na vašom webe za určité časové obdobie. Ak máte malý web s 50 podstránkami, tento koncept vás nemusí trápiť. Pri e-shopoch s tisíckami produktov alebo veľkých portáloch však crawl budget priamo ovplyvňuje, či sa vaše nové alebo aktualizované stránky vôbec dostanú do indexu.
Google má obmedzené zdroje. Nemôže prechádzať všetky stránky na internete v reálnom čase. Preto každému webu prideľuje určitý crawlovací rozpočet, ktorý závisí od autority webu, rýchlosti servera a toho, ako efektívne web svoje stránky organizuje. Ak tento rozpočet míňate na nepodstatné URL adresy, dôležité stránky sa indexujú pomaly alebo vôbec.
Crawl budget nie je jedno číslo, ktoré nájdete v Google Search Console. Je to kombinácia dvoch faktorov, ktoré Google oficiálne pomenoval.
Prvým je crawl rate limit, teda maximálna rýchlosť, akou Googlebot prechádza váš web bez toho, aby preťažil server. Ak máte rýchly hosting, Google si dovolí sťahovať viac stránok za sekundu. Pri pomalšom serveri automaticky spomalí, aby nezhoršoval používateľský zážitok.
Druhým faktorom je crawl demand, čiže dopyt po crawlovaní. Google chce prechádzať stránky, ktoré sa často menia, majú vysokú autoritu a sú pre používateľov relevantné. Ak máte stránku, na ktorú nikto neodkazuje a rok ste ju neaktualizovali, Google nemá dôvod ju často navštevovať.
Výsledný crawl budget je priesečník týchto dvoch hodnôt. Môžete mať rýchly server (vysoký crawl rate limit), ale ak Google nevidí dôvod vaše stránky často kontrolovať (nízky crawl demand), crawlovanie bude obmedzené.
Pri webe s 200 stránkami crawl budget väčšinou nie je problém. Google prejde všetky stránky dosť často a indexácia funguje spoľahlivo. Situácia sa mení pri e-shopoch s 10 000+ produktami, pri weboch s generovanými URL parametrami alebo pri portáloch s rozsiahlym obsahom.
E-shop s obuvou. Máte 5 000 produktov, každý má varianty podľa veľkosti a farby. K tomu filtrovacie parametre (cena, značka, materiál). Naraz máte potenciálne desaťtisíce URL adries. Googlebot príde, začne prechádzať a míňa crawl budget na stránky ako /produkty?farba=cierna&velkost=42&zoradit=cena. Tieto stránky sú duplicitné, nemajú unikátny obsah a zaberajú miesto, ktoré by mal bot venovať novým produktom.
Výsledok? Nový produkt pridáte v pondelok a Google ho zaindexuje o 3 týždne. Alebo vôbec. Medzitým konkurencia s lepšie optimalizovaným crawl budgetom má produkt v indexe do 48 hodín.
Google Search Console neposkytuje priame číslo crawl budgetu, ale môžete zistiť, koľko stránok Google reálne prechádza. V sekcii Nastavenia > Štatistiky prehľadávania nájdete graf s počtom požiadaviek za deň.
Sledujte tieto metriky:
Ak vidíte, že Google prechádza denne 100 stránok, ale máte ich 10 000, máte problém. Pri tomto tempe trvá kompletné prejdenie webu 100 dní.
Ďalší zdroj informácií sú serverové logy. Analyzujte, ktoré URL adresy Googlebot najčastejšie navštevuje. Často zistíte, že míňa čas na stránkach, ktoré nechcete indexovať.
Na crawl budget vplýva niekoľko technických aj obsahových faktorov. Pochopenie týchto faktorov je základom pre optimalizáciu.
Time To First Byte (TTFB) je čas, za ktorý server odpovie na požiadavku. Ak je TTFB nad 600 ms, Googlebot automaticky spomaľuje, aby nepreťažil váš server. Pri TTFB pod 200 ms si Google dovolí agresívnejšie crawlovanie.
V praxi to znamená, že lacný zdieľaný hosting môže brzdiť indexáciu vášho e-shopu, aj keď máte technicky všetko správne nastavené. Pri tvorbe e-shopov sa nám opakovane potvrdzuje, že investícia do kvalitného hostingu sa vráti práve cez rýchlejšiu indexáciu a lepší crawl rate.
Každá varianta URL s parametrami je pre Googlebot samostatná stránka. URL /produkty, /produkty?page=2, /produkty?zoradit=cena a /produkty?zoradit=cena&page=2 sú štyri rôzne stránky. Pri komplexných filtrovacích systémoch vznikajú tisíce kombinácií.
Tieto stránky majú väčšinou rovnaký alebo veľmi podobný obsah. Googlebot ich prechádza, míňa crawl budget a nakoniec ich aj tak nezaindexuje, lebo ich vyhodnotí ako duplicity.
Stránky vracajúce chyby tiež spotrebúvajú crawl budget. Googlebot musí najprv stránku požiadať, čakať na odpoveď a až potom zistí, že neexistuje. Ak máte stovky mŕtvych odkazov, zbytočne zaťažujete crawl budget.
Weby s vyššou autoritou dostávajú väčší crawl demand. Google predpokladá, že obsah na autoritatívnych weboch je dôležitejší a mení sa častejšie. Preto ich prechádza intenzívnejšie. Nový web bez spätných odkazov môže čakať týždne na zaindexovanie, zatiaľ čo etablovaný portál má nový článok v indexe do hodín.
Crawl budget optimization nie je o tom, aby Googlebot prešiel čo najviac stránok. Je o tom, aby prešiel tie správne stránky. Tu sú konkrétne kroky, ktoré fungujú.
V robots.txt zakážte crawlovanie stránok, ktoré nechcete indexovať. Typicky ide o:
Pozor na rozdiel medzi robots.txt a noindex. Robots.txt zabraňuje crawlovaniu, noindex zabraňuje indexácii. Ak chcete stránku úplne vylúčiť z indexu a zároveň šetriť crawl budget, použite robots.txt. Ak má stránka noindex, ale nie je blokovaná v robots.txt, Googlebot ju stále prechádza.
Canonical tag hovorí Googlu, ktorá verzia stránky je hlavná. Ak máte produkt dostupný cez /produkt/topanky a aj /kategoria/obuv/topanky, nastavte canonical na jednu z týchto URL. Googlebot stále prejde obe, ale vie, ktorú má indexovať, a nemusí riešiť duplicitu.
Sitemap nie je zoznam všetkých URL na webe. Je to zoznam URL, ktoré chcete indexovať. Zahrňte len stránky s unikátnym obsahom, ktoré majú hodnotu pre používateľov. Vyraďte stránky s thin content, duplicity a archívne stránky.
Aktualizujte sitemap pri každej zmene obsahu. Pridajte lastmod dátum, aby Googlebot vedel, ktoré stránky sa zmenili a prioritne ich prejde.
TTFB pod 200 ms je ideál. Riešenia zahŕňajú lepší hosting, caching na úrovni servera, CDN pre statické súbory a optimalizáciu databázových dotazov. Pri e-shopoch s tisíckami produktov je databázová optimalizácia často kľúčový faktor.
V Google Search Console skontrolujte sekciu Pokrytie. Nájdite stránky s chybami 404 a 5xx. Buď ich opravte (ak má stránka existovať), alebo nastavte presmerovanie 301 na relevantnú stránku, alebo ich úplne odstráňte zo sitemapy a interného prelinkovania.
Googlebot objavuje stránky primárne cez odkazy. Ak máte dôležitú stránku, na ktorú vedie len jeden odkaz z pätičky, Googlebot ju nemusí nájsť často. Dôležité stránky by mali byť dostupné z hlavnej navigácie a z kontextových odkazov v obsahu.
Hĺbka kliknutia tiež hrá rolu. Stránka dostupná na 2 kliknutia od homepage má väčšiu šancu na častejšie crawlovanie než stránka schovaná 6 kliknutí hlboko.
Niektoré optimalizácie majú opačný efekt, než ste zamýšľali. Tu sú chyby, ktoré vidíme opakovane.
Google oficiálne uvádza, že crawl budget je relevantný hlavne pre veľké weby. Ak máte menej než 1 000 stránok a server reaguje rýchlo, väčšinou nemáte problém. Googlebot prejde všetky stránky dostatočne často.
Crawl budget optimalizácia sa stáva dôležitou pri:
Ak vidíte v Search Console, že nové stránky sa indexujú do 2-3 dní a máte pokryté všetky dôležité URL, crawl budget pravdepodobne nie je vaše úzke hrdlo.
Po implementácii zmien sledujte tieto metriky v Google Search Console:
Zmeny v crawl behaviour sa prejavia postupne, rádovo v priebehu 2-4 týždňov. Neočakávajte okamžité výsledky.
Pre viac inšpirácie si pozrite naše projekty z praxe.
Správna práca s crawl budgetom je súčasťou technického SEO, ktoré výrazne ovplyvňuje viditeľnosť webu v organickom vyhľadávaní. Pri e-shope na mieru pre podlahy, ktorý sme robili pre Kvalitné Podlahy, sme riešili práve problém s filtrovacími parametrami, ktoré generovali tisíce zbytočných URL. Ak máte podobné problémy s indexáciou alebo chcete optimalizovať technickú stránku vášho webu, napíšte nám a pozrieme sa na to spolu.
