Googlebot: ako funguje robot Google, ako ho overiť a aké limity má pri sťahovaní stránok

Autor: Peter Weidinger · Publikované 16. 10. 2026

Googlebot je program, ktorým Google sťahuje stránky pre svoje vyhľadávanie, a od toho, čo z webu stiahne, závisí všetko ostatné v organickom SEO. Kto pozná jeho pravidlá, vie si vysvetliť záznamy v logoch servera, rozozná pravého robota od programu, ktorý sa zaň iba vydáva, a nezablokuje si omylom vlastný web. Článok vychádza z dokumentácie Google a postupne preberá typy Googlebota, limity veľkosti súborov, ďalšie prehľadávače Google, overenie požiadaviek a postup pri preťaženom serveri.

1. Čo je Googlebot a aké má typy

Google označuje menom Googlebot dva prehľadávače, ktoré používa Vyhľadávanie Google. Prvým je Googlebot Smartphone, ktorý napodobňuje používateľa na mobilnom zariadení, a druhým Googlebot Desktop, ktorý napodobňuje používateľa na počítači (Googlebot, Google Search Central). Prehľadávač, po anglicky crawler, je program, ktorý automaticky objavuje a prechádza webové stránky.

Ktorý z dvoch typov na web prišiel, sa dá zistiť z hlavičky user-agent, ktorú robot posiela s každou požiadavkou. V súbore robots.txt však oba typy poslúchajú ten istý názov Googlebot, a preto sa podľa dokumentácie nedá pravidlom v robots.txt osloviť iba mobilný alebo iba počítačový robot.

Pri väčšine webov Google indexuje predovšetkým mobilnú verziu obsahu, takže väčšinu požiadaviek posiela mobilný prehľadávač a počítačový len menšinu. Web, ktorý na mobile skrýva časť textu alebo odkazov, tak ukazuje robotovi práve tú chudobnejšiu verziu. Čo z toho vyplýva pre šablónu webu, rozoberá článok mobilné SEO.

Nové adresy objavuje Googlebot podľa dokumentácie najmä z odkazov na stránkach, ktoré už prehľadal. Google k tomu dodáva, že udržať web v tajnosti len tým, že naň nikto neodkáže, je takmer nemožné. Stačí, aby niekto klikol z „tajného“ webu na cudzí web, a adresa sa môže objaviť v údaji o odkazujúcej stránke, ktorý si cudzí web uloží a zverejní.

2. Koľko toho Googlebot z jednej stránky stiahne

Googlebot nesťahuje súbory bez obmedzenia, lebo pri prehľadávaní pre Vyhľadávanie Google stiahne podľa dokumentácie prvé 2 MB podporovaného typu súboru a prvých 64 MB súboru PDF. Len čo limit dosiahne, sťahovanie zastaví a na posúdenie pre index pošle iba tú časť súboru, ktorú už stiahol.

Dokumentácia k tomu pridáva dve spresnenia, z ktorých prvé hovorí, že limit sa počíta z nekomprimovaných dát, takže kompresia na serveri ho neposunie. Každý zdroj, na ktorý HTML odkazuje, napríklad súbor CSS alebo JavaScript, sa navyše sťahuje samostatne a platí preň rovnaký limit ako pre ostatné súbory okrem PDF.

Limit sa teda posudzuje pri každom súbore zvlášť a do veľkosti dokumentu HTML sa nerátajú zdroje, na ktoré stránka iba odkazuje. Riziko vzniká tam, kde šablóna vkladá priamo do HTML veľké bloky dát, napríklad obrázky zakódované v base64, rozsiahle vložené štýly alebo objemný JSON so stavom aplikácie. Obsah a odkazy za hranicou limitu robot v takom prípade vôbec nedostane, a preto má dôležitý text patriť na začiatok dokumentu. Súvisiace riziká pri weboch postavených na skriptoch opisuje článok JavaScript SEO.

Technické vlastnosti v tabuľke opisuje prehľad prehľadávačov a načítavačov Google. Pri protokole HTTP/2 dokumentácia výslovne píše, že webu neprináša žiadnu výhodu špecifickú pre produkty Google, a ako príklad uvádza, že nezlepší umiestnenie vo Vyhľadávaní Google.

Pri vyrovnávacej pamäti Google odporúča hlavičku ETag pred hlavičkou Last-Modified, lebo pri nej nevznikajú problémy s formátom dátumu. Ak server pošle obe, prehľadávače Google použijú hodnotu ETag. Googlebot podľa dokumentácie využíva vyrovnávaciu pamäť pri opakovanom prehľadávaní adries pre Vyhľadávanie Google.

Posledný riadok tabuľky sa týka webov, ktoré na firewalle obmedzujú zahraničné návštevy. Google píše, že požiadavky odchádzajú najmä z adries IP v Spojených štátoch, a keď zistí, že web požiadavky z USA blokuje, môže sa pokúsiť prehľadávať z adries v iných krajinách. Dokumentácia to opisuje ako možnosť, nie ako záruku, takže plošný zákaz amerických adries je pre viditeľnosť webu zbytočné riziko.

3. Ďalšie prehľadávače Google, ktoré uvidíte v logoch

Googlebot nie je jediný program, ktorým Google na weby pristupuje. Dokumentácia delí jeho klientov do troch skupín a každá sa k súboru robots.txt správa inak:

• Bežné prehľadávače, ku ktorým patrí aj Googlebot. Pri automatickom prehľadávaní pravidlá robots.txt dodržiavajú vždy.
• Prehľadávače pre osobitné prípady, ktoré slúžia konkrétnym produktom na základe dohody medzi webom a produktom. Google uvádza príklad robota AdsBot, ktorý so súhlasom vydavateľa reklamy ignoruje všeobecné pravidlo pre všetkých robotov (*).
• Načítavače spúšťané používateľom, ktoré urobia požiadavku na pokyn človeka, napríklad Google Site Verifier. Keďže si načítanie vyžiadal používateľ, pravidlá robots.txt spravidla ignorujú.

V logoch servera sa z bežných prehľadávačov objavujú najčastejšie tieto. Zoznam vychádza zo stránky List of Google's common crawlers a Google upozorňuje, že nie je úplný.

Dva riadky tabuľky si zaslúžia poznámku, lebo Googlebot News nemá vlastný reťazec user-agent a prehľadáva pod rôznymi reťazcami Googlebota, takže ho v logoch podľa mena nenájdete. To isté platí pre Google-Extended, ktorý nie je samostatný robot, ale názov na riadenie v robots.txt. Google pri ňom výslovne uvádza, že nemá vplyv na zaradenie webu do Vyhľadávania Google a nepoužíva sa ako signál pre poradie výsledkov.

Pri filtrovaní logov pomôže vedieť, že reťazec Chrome/W.X.Y.Z v názvoch robotov je zástupný znak za verziu prehliadača Chrome, ktorá sa časom zvyšuje podľa aktuálneho vydania Chromium. Google preto radí hľadať v logoch so zástupnými znakmi namiesto presného čísla verzie. Ako logy získať a čítať, vysvetľuje analýza log súborov.

4. Ako overiť, že požiadavka prišla naozaj od Google

Meno Googlebota v hlavičke user-agent samo nič nedokazuje, lebo Google sám upozorňuje, že túto hlavičku často falšujú iné prehľadávače, a pred akýmkoľvek blokovaním odporúča overiť, či problematická požiadavka naozaj prichádza od neho. Platí to aj opačne: kto v logoch počíta návštevy Googlebota len podľa mena, započíta aj cudzie programy.

Prehľadávače Google sa dajú spoznať tromi spôsobmi, a to podľa hlavičky user-agent, podľa zdrojovej adresy IP a podľa názvu hostiteľa, ktorý k tejto adrese vráti reverzný dopyt DNS. Na jednorazové overenie stačí príkazový riadok a Google tento spôsob považuje za dostatočný pre väčšinu prípadov (Verify requests from Google crawlers and fetchers):

1. Zoberte z logu adresu IP, z ktorej požiadavka prišla, a spustite na ňu reverzný dopyt DNS príkazom host.
2. Skontrolujte, či vrátený názov patrí do domény googlebot.com, google.com alebo googleusercontent.com.
3. Na vrátený názov spustite príkazom host bežný, teda dopredný dopyt DNS.
4. Overte, že výsledná adresa IP je tá istá, akú ste našli v logu.

Dokumentácia uvádza tento príklad pravého Googlebota:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Postup má zmysel len celý, lebo overenie podľa Google uzatvára až dopredný dopyt, ktorý vráti tú istú adresu IP, aká je v logu. Názov z domény Google v druhom kroku je teda len polovica dôkazu.

Podľa tvaru názvu sa dá rozlíšiť aj skupina robota. Bežné prehľadávače majú názvy v tvare crawl-***-***-***-***.googlebot.com alebo geo-crawl-***-***-***-***.geo.googlebot.com, prehľadávače pre osobitné prípady v tvare rate-limited-proxy-***-***-***-***.google.com. Načítavače spúšťané používateľom sa hlásia názvami končiacimi na gae.googleusercontent.com alebo v tvare google-proxy-***-***-***-***.google.com.

Pri veľkom objeme požiadaviek je ručné overovanie nepraktické, a preto Google zverejňuje zoznamy rozsahov adries IP vo formáte JSON. Pre Googlebota a ostatné bežné prehľadávače je to súbor common-crawlers.json, v ktorom sú adresy zapísané vo formáte CIDR. Porovnanie adresy z logu s týmto zoznamom sa dá zautomatizovať na firewalle alebo v skripte, ktorý logy spracúva.

5. Ako Googlebota usmerniť a čo tým nedosiahnete

Google pri Googlebotovi rozlišuje prehľadávanie a indexovanie a zdôrazňuje, že ide o dve rôzne veci. Zákaz prehľadávania stránky nezabráni tomu, aby sa jej adresa objavila vo výsledkoch vyhľadávania. Dokumentácia preto priraďuje ku každému cieľu iný nástroj:

• Robot nemá stránku prehľadávať: použite súbor robots.txt.
• Stránka nemá byť v indexe: použite noindex.
• Stránka nemá byť dostupná nikomu, robotom ani ľuďom: použite iný spôsob, napríklad ochranu heslom.

Častá chyba spočíva v kombinácii prvých dvoch nástrojov na tej istej adrese. Ak robots.txt zakáže stránku prehľadávať, robot sa k značke noindex vôbec nedostane, a adresa tak môže vo výsledkoch zostať. Podrobný postup pri oboch nástrojoch nájdete v článkoch robots.txt a sitemap.xml a odstránenie stránky z Google.

Pri písaní pravidiel v robots.txt treba počítať s tým, že zákaz pre názov Googlebot má široký dosah. Podľa dokumentácie ovplyvní Vyhľadávanie Google vrátane kanála Discover a všetkých funkcií vyhľadávania a k tomu ďalšie produkty, napríklad Obrázky Google, Google Video a Správy Google. Kto chce obmedziť iba jeden z nich, má použiť užší názov z tabuľky v tretej časti, napríklad Googlebot-Image pre obrázky.

Pravidlá sa dedia aj opačným smerom, lebo niektoré prehľadávače majú viac názvov a na uplatnenie pravidla stačí zhoda s jedným z nich. Googlebot Image, Googlebot Video aj Google-InspectionTool poslúchajú popri vlastnom názve aj názov Googlebot, takže zákaz napísaný pre Googlebota sa vzťahuje aj na ne, pokiaľ pre ne v súbore nie je vlastná skupina pravidiel.

6. Keď Googlebot zaťažuje server

Pri väčšine webov by Googlebot podľa dokumentácie nemal pristupovať na web v priemere častejšie než raz za niekoľko sekúnd, hoci v krátkych úsekoch môže tempo pre oneskorenia vyzerať o niečo vyššie. Ak server napriek tomu nestíha, treba najprv zistiť príčinu. Google medzi najčastejšími dôvodmi prudkého nárastu prehľadávania uvádza neefektívnu štruktúru adries, najmä filtrovanie a triedenie vo fazetovej navigácii a kalendár s množstvom adries pre jednotlivé dátumy (Reduce the Google crawl rate).

Google preto odporúča spojiť sa s hostingom a pozrieť si nedávne prístupové logy servera, aby bolo jasné, odkiaľ prevádzka prichádza, a až potom má zmysel zasahovať. Ako nájsť adresy, na ktorých robot stráca čas, opisuje článok rozpočet prehľadávania.

Na naliehavé prípady opisuje Google krátkodobé riešenie pomocou stavových kódov. Ak má prehľadávanie klesnúť na pár hodín alebo na jeden až dva dni, server má robotovi namiesto kódu 200 vracať stavový kód 500, 503 alebo 429. Keď infraštruktúra Google narazí na veľký počet adries s týmito kódmi, zníži tempo prehľadávania pre celý názov hostiteľa, teda aj pre adresy, ktoré obsah vracajú normálne. Len čo chýb ubudne, tempo sa automaticky znova zvýši.

Pri kódoch 503 a 429 možno pridať hlavičku Retry-After, ktorá robotovi povie, kedy má požiadavku zopakovať, a to buď počtom sekúnd, alebo presným dátumom a časom v UTC:

HTTP/1.1 503 Service Unavailable
Retry-After: 120

Toto riešenie má dve hranice, na ktoré dokumentácia upozorňuje výstrahou. Zníženie tempa má široké následky: Googlebot objaví menej nových stránok, existujúce stránky obnovuje zriedkavejšie, takže napríklad zmena ceny alebo dostupnosti tovaru sa do vyhľadávania dostane neskôr, a odstránené stránky môžu zostať v indexe dlhšie. Google ho navyše neodporúča držať dlhšie než jeden až dva dni, lebo ak robot vidí tieto stavové kódy na tej istej adrese viac dní, môže adresa z indexu vypadnúť. Plánovanú odstávku celého webu preberá článok dočasné vypnutie webu.

Ak server chybové kódy vracať nevie, dá sa Googlu poslať osobitná žiadosť o zníženie tempa s uvedením hodnoty, ktorá webu vyhovuje. Jej vyhodnotenie a splnenie môže podľa dokumentácie trvať niekoľko dní. Opačným smerom to nefunguje, o zvýšenie tempa prehľadávania sa požiadať nedá.

Krátky postup, keď v logoch vidíte nezvyčajne veľa požiadaviek s menom Googlebot:

1. Overte niekoľko adries IP reverzným a dopredným dopytom DNS a zistite, či ide o pravého robota.
2. Požiadavky, ktoré overením neprešli, riešte na firewalle ako bežnú neželanú prevádzku.
3. Pri pravom robotovi zistite z logov, ktoré adresy sťahuje najčastejšie, a hľadajte medzi nimi filtre, triedenie a kalendáre.
4. Zbytočné adresy uzavrite v robots.txt a tempo znižujte stavovými kódmi len vtedy, keď server naozaj nestíha.
5. Po odznení problému chybové kódy vypnite najneskôr do dvoch dní, aby adresy nezačali vypadávať z indexu.

Časté otázky

Čo je Googlebot?

Googlebot je spoločné meno dvoch prehľadávačov, ktoré používa Vyhľadávanie Google: Googlebot Smartphone napodobňuje používateľa na mobile a Googlebot Desktop používateľa na počítači. Pri väčšine webov posiela väčšinu požiadaviek mobilný prehľadávač.

Ako zistím, či je návšteva v logu naozaj od Googlebota?

Na adresu IP z logu spustite reverzný dopyt DNS a overte, že vrátený názov patrí do domény googlebot.com, google.com alebo googleusercontent.com. Potom na tento názov spustite dopredný dopyt a skontrolujte, či vráti pôvodnú adresu IP. Meno v hlavičke user-agent samo nestačí, lebo sa dá sfalšovať.

Aký veľký súbor Googlebot spracuje?

Pri prehľadávaní pre Vyhľadávanie Google stiahne prvé 2 MB podporovaného typu súboru a prvých 64 MB súboru PDF. Limit sa počíta z nekomprimovaných dát a každý súbor CSS alebo JavaScript sa sťahuje samostatne s rovnakým limitom.

Dá sa v robots.txt zakázať iba mobilný alebo iba počítačový Googlebot?

Nie. Oba typy poslúchajú v robots.txt ten istý názov Googlebot, takže pravidlo platí vždy pre oba. Rozlíšiť sa dajú len podľa hlavičky user-agent v požiadavke.

Zhorší blokovanie robota Google-Extended pozície vo vyhľadávaní?

Podľa dokumentácie Google nie. Google-Extended je názov na riadenie v robots.txt, ktorým vydavateľ určuje, či sa obsah smie použiť na trénovanie modelov Gemini a na ich podkladanie obsahom. Na zaradenie webu do Vyhľadávania Google vplyv nemá a ako signál pre poradie sa nepoužíva.

Môžem Google požiadať, aby môj web prehľadával častejšie?

Nie, o zvýšenie tempa prehľadávania sa požiadať nedá. Požiadať možno iba o jeho zníženie, a to osobitnou žiadosťou, ktorej vyhodnotenie môže trvať niekoľko dní.