Screaming Frog SEO Spider: návod na prvú kontrolu webu
Screaming Frog SEO Spider je program, ktorý si nainštalujete do počítača a ktorý prejde váš web odkaz po odkaze podobne ako vyhľadávač. Výsledkom je tabuľka všetkých nájdených adries s kódmi odpovede, titulkami, popismi, nadpismi a informáciou, či sa stránka môže dostať do indexu. Tento návod vás prevedie prvým prehľadávaním v poradí, v akom sa výsledky oplatí čítať: od nastavenia rozsahu cez nefunkčné odkazy a presmerovania až po titulky a neindexovateľné stránky. Pri každom kroku uvádzame presný názov záložky alebo filtra podľa príručky Screaming Frog, aby ste ho v programe našli aj bez skúseností.
1. Čo Screaming Frog robí a čo dostanete zadarmo
Screaming Frog SEO Spider je prehľadávač webu, teda program, ktorý načíta úvodnú stránku, nájde na nej odkazy a postupne otvára ďalšie adresy, až kým neprejde celý web. Podľa výrobcu prehľadáva stránky podobne ako Googlebot, odkazy hľadá v HTML kóde a predvolene číta pôvodné HTML bez spustenia JavaScriptu, no vie stránky vykresliť aj v prehliadači Chromium bez grafického rozhrania (SEO Spider Tool, Screaming Frog). Program je dostupný pre Windows, macOS aj Linux a podľa toho istého zdroja pozná viac než 300 problémov, upozornení a príležitostí, pričom ku každému zobrazí vysvetlenie a odhad priority.
Malému webu často stačí bezplatná verzia, ktorú si stiahnete bez registrácie. Jej hlavné obmedzenie je počet adries: podľa Screaming Frog prehľadá v jednom behu najviac 500 adries a obmedzené má aj nastavenia prehľadávania, ukladanie výsledkov a pokročilé funkcie, ako je vykresľovanie JavaScriptu, vlastná extrakcia údajov a prepojenie cez API (SEO Spider Tool, Screaming Frog). Podľa častých otázok výrobcu sú bez licencie možnosti nastavenia nedostupné a predtým uložené prehľadávania sa nedajú otvoriť (SEO Spider FAQ, Screaming Frog), takže niektoré úpravy opísané nižšie si vyžadujú licenciu.
| Úloha | Kde ju v programe nájdete | Verzia zdarma |
|---|---|---|
| Nefunkčné odkazy a chyby servera | záložka Response Codes, filter Client Error (4xx) | áno, do 500 adries |
| Presmerovania, reťazce a slučky | Response Codes, Reports, Redirects | áno, do 500 adries |
| Titulky, meta popisy, nadpisy H1 | záložky Page Titles, Meta Description, H1 | áno, do 500 adries |
| Prehľadávanie s vykreslením JavaScriptu | Configuration, Spider, Rendering | nie, len s licenciou |
| Dáta zo Search Console a Google Analytics | prepojenie cez API | nie, len s licenciou |
| Zmena rýchlosti, identity prehľadávača a ďalšie nastavenia | Configuration | nie, len s licenciou |
| Uloženie a neskoršie otvorenie prehľadávania | uloženie prehľadávania | nie, len s licenciou |
Platená licencia je podľa Screaming Frog ročná a potom ju treba obnoviť, pričom aktuálnu cenu nájdete v cenníku výrobcu. Program nenahrádza Google Search Console, pretože ukazuje, čo nájde na vašom webe prehľadávač, nie to, čo Google skutočne zaradil do indexu, a preto sa oba nástroje dopĺňajú. Ako výsledky zapracovať do celkovej kontroly webu, opisuje článok o SEO audite.
2. Prvé prehľadávanie: doména, subdoména a podpriečinok
Prehľadávanie spustíte tak, že do poľa Enter URL to spider v hornej časti okna zadáte adresu a kliknete na Start. Dôležité je, akú adresu zadáte, pretože od nej závisí rozsah. Podľa príručky Screaming Frog program v bežnom režime prehľadá iba subdoménu, ktorú zadáte, a ostatné subdomény považuje za externé odkazy, takže pri zadaní https://www.example.sk prejde len verziu s www (SEO Spider General User Guide, Screaming Frog). Ak naopak začnete od koreňa domény bez subdomény, napríklad https://example.sk, program podľa toho istého zdroja predvolene prehľadá aj všetky subdomény.
Pri veľkom webe alebo pri limite 500 adries pomôže prehľadať iba jednu časť, napríklad blog. V hornom prepínači zvolíte Subfolder a zadáte adresu podpriečinka, ktorá musí podľa príručky odpovedať kódom 200 a musí obsahovať odkazy na ďalšie stránky v tom istom priečinku, inak nie je čo prehľadávať. Príručka upozorňuje aj na lomku na konci: adresu /blog bez lomky program za podpriečinok nepovažuje, a ak verzia s lomkou presmerúva na verziu bez nej, treba použiť funkciu Include s regulárnym výrazom.
Druhý užitočný režim je List, ktorý zapnete cez Mode a List. Namiesto prechádzania odkazov do neho vložíte alebo nahráte zoznam konkrétnych adries a program skontroluje len tie (SEO Spider General User Guide, Screaming Frog). Hodí sa to po zmene adries, keď chcete overiť, či všetky staré adresy zo zoznamu vedú na správne nové stránky.
3. Rýchlosť, robots.txt a identita prehľadávača
Prehľadávač posiela na server veľa požiadaviek za krátky čas, a preto stojí za to vedieť, ako sa správa predvolene. Podľa príručky nastavení Screaming Frog prehľadáva predvolene s piatimi súbežnými vláknami, aby servery nepreťažil, a rýchlosť sa dá obmedziť aj nastavením Max URI/s, teda najvyšším počtom požiadaviek za sekundu (SEO Spider Configuration, Screaming Frog). Výrobca výslovne upozorňuje, že vysoký počet vlákien môže spomaliť odozvu webu a v krajnom prípade server zrútiť, a odporúča dohodnúť rýchlosť a čas prehľadávania so správcom webu. Bez licencie sa nastavenia meniť nedajú, takže program beží s predvolenou rýchlosťou, a s licenciou počet vlákien zvyšujte až po dohode so správcom webu.
Program predvolene rešpektuje súbor robots.txt, takže adresy zakázané v robots.txt neprehľadá (SEO Spider Configuration, Screaming Frog). Podľa všeobecnej príručky sa pritom riadi pravidlami pre Googlebota, takže čo máte zakázané pre Google, nevidí ani Screaming Frog. To je užitočné, pretože výsledok sa viac podobá tomu, čo vidí vyhľadávač, ale znamená to aj, že zablokovanú časť webu v prehľade nenájdete a musíte o nej vedieť sami.
Požiadavky program predvolene posiela pod vlastnou identifikáciou (user agent) Screaming Frog SEO Spider. S licenciou ju v nastavení Configuration a User-Agent môžete prepnúť napríklad na Googlebot alebo Bingbot, čím zmeníte aj to, ktoré pravidlá v robots.txt sa uplatnia. Prepnutie sa oplatí vtedy, keď máte podozrenie, že web alebo jeho ochrana pred robotmi odpovedá vyhľadávaču inak ako bežnému návštevníkovi.
4. Nefunkčné odkazy a presmerovania
Nefunkčné odkazy sú najčastejší dôvod, prečo ľudia Screaming Frog spúšťajú, a postup podľa návodu výrobcu má štyri kroky (Broken Link Checker, Screaming Frog):
- Spustite prehľadávanie celého webu.
- Otvorte záložku Response Codes a vyberte filter Client Error (4xx). Výsledky vidíte už počas prehľadávania, netreba čakať na 100 %.
- Kliknite na nefunkčnú adresu v hornom okne a v dolnom okne otvorte záložku Inlinks, kde uvidíte stránky, ktoré na ňu odkazujú.
- Ak chcete zoznam v tabuľke, použite v hornom menu Bulk Export, Response Codes a Client Error (4XX) Inlinks, ktorý exportuje zdrojové stránky aj nefunkčné odkazy naraz.
Záložka Issues podľa toho istého návodu označí nefunkčné interné odkazy ako problém s vysokou prioritou, kým nefunkčné odkazy na cudzie weby považuje len za upozornenie s nízkou prioritou. Interné odkazy opravujte ako prvé, pretože ich máte plne pod kontrolou. Kedy je chyba 404 v poriadku a kedy ide o problém, vysvetľuje článok o chybe 404 a soft 404.
V tej istej záložke nájdete aj presmerovania. Filter Redirect Chain podľa príručky záložiek ukazuje interné adresy, ktoré presmerúvajú na adresu, ktorá znova presmerúva, a filter Redirect Loop zachytí prípad, keď sa reťazec vráti na adresu, ktorá v ňom už bola (SEO Spider Tabs, Screaming Frog). Celé reťazce aj s počtom krokov exportujete cez Reports, Redirects a Redirect Chains. Príručka zároveň odporúča, aby interné odkazy viedli priamo na cieľovú adresu, a nie na adresu, ktorá presmerúva, lebo každý krok navyše predlžuje načítanie stránky pre používateľa.
Po zmene adries webu sa hodí kombinácia s režimom List. Nahráte zoznam starých adries a s licenciou zapnete voľbu Configuration, Spider, Advanced a Always Follow Redirects, s ktorou program podľa príručky nastavení v tomto režime nasleduje presmerovania až po konečný cieľ bez ohľadu na hĺbku prehľadávania, takže uvidíte, kam každá stará adresa nakoniec vedie (SEO Spider Configuration, Screaming Frog).
5. Titulky, popisy, nadpisy a obrázky
Druhá veľká časť výsledkov sa týka obsahu stránok. Záložka Page Titles má podľa príručky filtre Missing pre chýbajúci alebo prázdny titulok, Duplicate pre rovnaké titulky na viacerých stránkach a Multiple pre stránky s viac ako jedným titulkom, čo podľa výrobcu často spôsobujú dva doplnky v redakčnom systéme, ktoré si navzájom konkurujú (SEO Spider Tabs, Screaming Frog). Rovnaké filtre má aj záložka Meta Description a záložka H1, ktorá navyše pomocou filtra Multiple ukáže stránky s viacerými nadpismi H1.
Pri filtroch na dĺžku, napríklad Over 60 characters pri titulku alebo Over 155 characters pri popise, je dobré vedieť, že ide o odhad nástroja, nie o pravidlo Google. Sám Screaming Frog uvádza, že skracovanie vo výsledkoch sa riadi šírkou v pixeloch, ktorú Google často mení, a dokumentácia Google hovorí, že dĺžka prvku title nie je obmedzená a vo výsledkoch sa skráti podľa potreby, zvyčajne podľa šírky zariadenia (Influencing your title links in Google Search, Google Search Central). Prednosť preto dajte chýbajúcim a duplicitným titulkom a dlhé titulky skracujte len vtedy, keď sa podstatná informácia nachádza až na konci. Ako titulok a popis napísať, rozoberá článok o meta title a meta popise.
V záložke Images rozlišuje program dva prípady, ktoré sa ľahko zamenia. Filter Missing Alt Attribute ukazuje obrázky, ktoré atribút alt vôbec nemajú, kým Missing Alt Text zachytí obrázky, ktoré atribút majú, ale prázdny (SEO Spider Tabs, Screaming Frog). Prázdny alt nie je vždy chyba: príručka pripomína, že dekoratívne obrázky majú mať práve prázdny alt, aby ich čítačky obrazovky preskočili, takže pred opravou si zistite, či obrázok nesie nejakú informáciu.
6. Indexovateľnosť, JavaScript a stránky bez odkazov
Pri každej adrese zobrazuje Screaming Frog stĺpec Indexability s hodnotou Indexable alebo Non-Indexable a stĺpec Indexability Status s dôvodom, napríklad že stránka má značku noindex alebo kanonickú adresu odkazujúcu inam (SEO Spider Tabs, Screaming Frog). Zoraďte si stránky podľa tohto stĺpca a skontrolujte, či medzi neindexovateľnými nie je stránka, ktorú chcete mať vo výsledkoch vyhľadávania. Záložka Canonicals má navyše filter Non-Indexable Canonical, ktorý nájde kanonické adresy smerujúce na stránku s presmerovaním, chybou alebo značkou noindex, hoci kanonická adresa má byť vždy indexovateľná stránka s kódom 200.
Pri každej adrese nájdete aj hodnotu Crawl Depth, ktorá podľa príručky udáva počet kliknutí od stránky, z ktorej prehľadávanie začalo, a Inlinks s počtom interných odkazov na danú adresu. Dôležitá stránka, ktorá je od úvodnej stránky ďaleko alebo na ňu vedie len málo interných odkazov, je kandidát na lepšie prelinkovanie.
Weby postavené na JavaScripte vyžadujú osobitnú pozornosť. Návod Screaming Frog uvádza, že program predvolene prehľadáva v režime len text, teda pôvodné HTML pred spustením JavaScriptu, a na odhalenie problémov treba prepnúť vykresľovanie v Configuration, Spider a Rendering, čo vyžaduje licenciu (How To Crawl JavaScript Websites, Screaming Frog). Ten istý návod upozorňuje, že pri webe postavenom len na JavaScripte na strane prehliadača program bez vykreslenia často prehľadá iba úvodnú stránku s kódom 200 a niekoľko súborov JavaScriptu a CSS. Google podľa svojej dokumentácie spravidla vie prehľadať odkaz iba vtedy, keď ide o prvok <a> s atribútom href (Link best practices for Google, Google Search Central).
Posledná vec, ktorú bežné prehľadávanie neodhalí, sú stránky, na ktoré nevedie žiadny interný odkaz. Prehľadávač ich nenájde, pretože k nim nevedie cesta. Správa Orphan Pages podľa príručky porovná adresy z Google Analytics, Search Console a mapy stránok XML s adresami nájdenými pri prehľadávaní a zobrazí tie, ktoré sa nespárovali, no zostane prázdna, kým program s týmito zdrojmi neprepojíte alebo nenastavíte prehľadávanie mapy stránok (SEO Spider General User Guide, Screaming Frog). Bez licencie môžete aspoň porovnať export adries zo Screaming Frog so súborom sitemap.xml ručne v tabuľkovom editore.
Časté otázky
Je Screaming Frog SEO Spider zadarmo?
Áno, v obmedzenej verzii. Podľa Screaming Frog si ho stiahnete bez registrácie a v jednom prehľadávaní skontroluje najviac 500 adries. Ukladanie prehľadávaní, nastavenia prehľadávania, vykresľovanie JavaScriptu a prepojenie so Search Console či Google Analytics sú dostupné až s platenou ročnou licenciou.
Ako v Screaming Frog nájdem nefunkčné odkazy?
Spustite prehľadávanie, otvorte záložku Response Codes a zvoľte filter Client Error (4xx). Po kliknutí na nefunkčnú adresu uvidíte v dolnom okne v záložke Inlinks stránky, ktoré na ňu odkazujú. Celý zoznam exportujete cez Bulk Export, Response Codes a Client Error (4XX) Inlinks.
Môže Screaming Frog zaťažiť alebo zablokovať môj web?
Môže, ak nastavíte príliš vysokú rýchlosť. Predvolene prehľadáva s piatimi vláknami, aby server nepreťažil, a rýchlosť sa dá obmedziť nastavením Max URI/s. Výrobca odporúča dohodnúť rýchlosť a čas prehľadávania so správcom webu a sledovať odozvu servera.
Prečo Screaming Frog nenašiel všetky stránky môjho webu?
Najčastejšie preto, že program predvolene rešpektuje robots.txt, prehľadáva iba zadanú subdoménu alebo nevidí odkazy, ktoré vznikajú až JavaScriptom. Stránky, na ktoré nevedie žiadny interný odkaz, nenájde vôbec, pretože postupuje po odkazoch. Pomôže skontrolovať zadanú adresu, robots.txt a pri licencii zapnúť vykresľovanie JavaScriptu alebo prehľadávanie mapy stránok.
Nahradí Screaming Frog Google Search Console?
Nie. Screaming Frog ukazuje, čo na webe nájde prehľadávač, kým Search Console podľa dokumentácie Google ukazuje, ktoré stránky Google indexoval alebo sa ich pokúsil indexovať a pri ktorých narazil na chyby či ich z vyhľadávania vylúčil. Oba nástroje sa navzájom dopĺňajú.