Kas tas Screaming Frog ir kodėl jis turėtų jus dominti
Jei kada nors bandėte rankiniu būdu patikrinti svetainės SEO būklę, turbūt žinote, kaip greitai tai tampa košmaru. Dešimtys puslapių, šimtai nuorodų, meta tagų chaosas – ir štai jau sėdite iki vidurnakčio su Excel lentele, kuri atrodo kaip matematikos vadovėlis po sprogimo. Čia ir ateina į pagalbą Screaming Frog SEO Spider – įrankis, kuris gali išgelbėti ne tik jūsų laiką, bet ir nervų sistemą.
Screaming Frog yra desktop programa, kuri veikia kaip paieškos robotas (spider) – ji šliaužioja po jūsų svetainę tiksliai taip pat, kaip tai daro Google botai. Tik skirtumas tas, kad jūs gaunate visą informaciją iškart, gražiai sutvarkytą lentelėse, kurias galima eksportuoti, analizuoti ir rodyti klientams ar vadovybei.
Programą galima naudoti nemokamai iki 500 URL, o tai jau gana neblogai mažesnėms svetainėms. Mokama versija kainuoja apie 200 eurų per metus ir leidžia šliaužioti po neribotą kiekį puslapių. Tiesą sakant, tai viena iš geriausių investicijų, jei rimtai užsiimate SEO.
Pirmieji žingsniai: kaip nepasimesti duomenų jūroje
Kai pirmą kartą paleidžiate Screaming Frog, interfeisas gali atrodyti šiek tiek bauginantis. Daugybė skirtukų, stulpelių, nustatymų – lengva pasijusti kaip pirmakursiui programavimo paskaitoje. Bet ramus, viskas ne taip sudėtinga, kaip atrodo.
Pradėkite paprastai: įveskite svetainės URL į viršutinį laukelį ir spauskite „Start”. Programa pradės šliaužioti po svetainę, ir jūs realiu laiku matysite, kaip didėja surastų puslapių skaičius. Priklausomai nuo svetainės dydžio, tai gali užtrukti nuo kelių minučių iki kelių valandų.
Pirmasis dalykas, į kurį verta atkreipti dėmesį – tai „Response Codes” skirtukas. Čia pamatysite visus HTTP atsakymo kodus: 200 (viskas gerai), 301 (nukreipimas), 404 (puslapis nerastas) ir kitus. Jei matote daug 404 klaidų, tai rimtas signalas – turite sugedusias nuorodas, kurios gadina vartotojų patirtį ir SEO.
Vienas patarimas iš patirties: prieš pradėdami šliaužioti po didelę svetainę, patikrinkite Configuration nustatymus. Galite apriboti šliaužiojimo greitį (kad neperkrautumėte serverio), nustatyti maksimalų URL skaičių arba išjungti tam tikrų tipų failų šliaužiojimą. Pavyzdžiui, jei jums nereikia analizuoti PDF failų ar paveikslėlių, geriau juos išjungti – sutaupysite laiko.
Meta tagų ir antraščių medžioklė
Viena iš populiariausių Screaming Frog funkcijų – meta tagų analizė. Eikite į „Page Titles” arba „Meta Description” skirtukus, ir pamatysite visas savo svetainės title ir description tagus vienoje vietoje. Programa automatiškai pažymi problemas: per ilgus pavadinimus (virš 60 simbolių), per trumpus, dublikatus ar visai trūkstančius tagus.
Tai neįtikėtinai naudinga, ypač kai perimate svetainę iš kažkieno kito arba kai reikia greitai įvertinti SEO būklę. Vietoj to, kad naršytumėte kiekvieną puslapį atskirai ir tikrintumėte šaltinio kodą, viskas čia – viename ekrane.
Praktinis patarimas: eksportuokite šiuos duomenis į CSV failą ir atidarykite Excel’yje. Tada galite naudoti filtrus, rūšiuoti pagal ilgį, ieškoti dublikatų su COUNTIF funkcija. Jei turite 1000 puslapių svetainę, šis metodas gali sutaupyti kelias darbo dienas.
Antraščių (H1, H2 ir t.t.) analizė taip pat labai svarbi. Eikite į „H1” skirtuką ir patikrinkite, ar kiekvienas puslapis turi unikalų H1 tagą. Dažna klaida – keletas H1 tagų viename puslapyje arba visiškas jų nebuvimas. Google nėra toks griežtas dėl to, kaip anksčiau, bet vis tiek geriau laikytis gerųjų praktikų.
Nuorodų struktūros tyrinėjimas
Vidinės nuorodos – tai SEO stuburas, bet dažnai jomis niekas nesirūpina. Screaming Frog puikiai tinka vidinių nuorodų auditui. „Inlinks” skirtukas rodo, kiek nuorodų veda į konkretų puslapį, o „Outlinks” – kiek nuorodų iš jo išeina.
Štai ką galite padaryti su šia informacija: identifikuoti „našlaičius” puslapius, kurie neturi jokių vidinių nuorodų (arba jų labai mažai). Tokie puslapiai dažnai būna pamiršti, ir Google robotai juos randa sunkiai. Jei tai svarbūs puslapiai, pridėkite daugiau vidinių nuorodų iš kitų svetainės dalių.
Kita vertus, galite rasti puslapius, kurie turi per daug išeinančių nuorodų. Nors nėra griežto limito, bet jei puslapis turi 200+ nuorodų, tai gali skiedžioti „link juice” ir mažinti SEO vertę. Ypač tai aktualu e-commerce svetainėms su dideliais katalogais.
Dar vienas trikis: naudokite „Link Score” metriką (reikia įjungti nustatymuose). Tai Screaming Frog sukurtas rodiklis, kuris bando įvertinti puslapio svarbą pagal vidinių nuorodų struktūrą. Nors tai ne PageRank, bet gali padėti suprasti, kurie puslapiai yra „stipriausieji” jūsų svetainėje.
Techninis auditas: kas slypi po gaubtu
Čia Screaming Frog tikrai spindi. Programa gali aptikti daugybę techninių problemų, kurias rankiniu būdu rasti būtų beveik neįmanoma.
Pradėkime nuo nukreipimų grandinių. Kartais turite situaciją, kai puslapis A nukreipia į B, B į C, o C į D. Tai vadinama redirect chain, ir tai lėtina svetainę bei gadina SEO. Screaming Frog rodo tokias grandines „Redirect Chains” ataskaitoje. Idealiu atveju turėtumėte nukreipti tiesiai iš A į D.
Canonical tagų tikrinimas – dar viena svarbi funkcija. Eikite į „Canonical” skirtuką ir patikrinkite, ar nėra puslapių, kurie nurodo į neegzistuojančius canonical URL arba turi circular references (puslapis nurodo į save kaip canonical, bet pats nėra indexuojamas).
Robots.txt ir meta robots direktyvų analizė taip pat labai naudinga. Kartais atsitinka, kad kažkas per klaidą užblokuoja svarbius puslapius nuo indeksavimo. Screaming Frog parodo, kurie puslapiai yra blokuojami ir kodėl. Filtruokite pagal „Indexability” stulpelį ir ieškokite „Non-Indexable” statusų – gali būti nemalonių siurprizų.
Structured data (schema markup) tikrinimas taip pat įmanomas. Programa gali ištraukti JSON-LD, Microdata ar RDFa duomenis ir parodyti, kuriuose puslapiuose jie yra. Nors Screaming Frog nevaliduoja schema sintaksės (tam geriau naudoti Google Rich Results Test), bet galite greitai pamatyti, kuriuose puslapiuose trūksta structured data.
Greičio ir našumo aspektai
Nors Screaming Frog nėra specialus greičio testavimo įrankis, jis gali suteikti naudingos informacijos apie tai, kas lėtina jūsų svetainę.
„Response Time” stulpelis rodo, kiek laiko užtruko kiekvieno puslapio atsakymas. Jei matote puslapius, kurie kraunasi 3-5 sekundes ar ilgiau, tai problema. Galite eksportuoti šiuos duomenis ir perduoti development komandai.
Paveikslėlių optimizacija – tai klasika. Eikite į „Images” skirtuką ir rūšiuokite pagal failų dydį. Jei matote 5MB JPG failus, turite problemą. Programa taip pat parodo, kuriuose paveikslėliuose trūksta alt atributų – tai svarbu tiek prieinamumui, tiek SEO.
Vienas mano mėgstamiausių trikų: naudokite „Bulk Export” funkciją ir eksportuokite visus paveikslėlius su jų dydžiais. Tada Excel’yje galite apskaičiuoti bendrą svetainės „svorį” ir identifikuoti didžiausius nusikaltėlius. Kartais paaiškėja, kad 80% svetainės svorio sudaro 20% paveikslėlių – klasikinė Pareto taisyklė.
Integracijos su kitais įrankiais
Screaming Frog nėra atskira sala – jis puikiai integruojasi su kitais SEO įrankiais, ir čia prasideda tikroji magija.
Google Analytics ir Search Console integracija leidžia importuoti metrikus tiesiai į Screaming Frog. Pavyzdžiui, galite pamatyti, kurie puslapiai turi daug organic traffic, bet turi techninių problemų. Arba atvirkščiai – kurie puslapiai yra techniškai tobuli, bet negauna jokio traffic (galbūt reikia geresnio content ar backlinks).
Nustatymas gana paprastas: eikite į Configuration > API Access ir prisijunkite prie savo Google paskyros. Tada galite importuoti duomenis per „Bulk Export > Google Analytics/Search Console”.
PageSpeed Insights API integracija leidžia gauti Google PageSpeed balus kiekvienam puslapiui. Tai užtrunka ilgai (nes reikia daryti API užklausas kiekvienam URL), bet rezultatas verta. Galite identifikuoti puslapius su žemais balais ir prioritizuoti optimizaciją.
Ahrefs, Majestic ir Moz integracija leidžia importuoti backlink metrikus. Pavyzdžiui, galite pamatyti, kurie jūsų puslapiai turi stipriausią backlink profilį, ir panaudoti juos vidinių nuorodų strategijoje.
Dar vienas naudingas dalykas – Custom Extraction. Galite naudoti XPath ar regex, kad ištrauktumėte bet kokią informaciją iš puslapių. Pavyzdžiui, jei turite e-commerce svetainę, galite ištraukti produktų kainas, atsiliepimų skaičių, stock statusą ir t.t. Tai reikalauja šiek tiek techninio mąstymo, bet galimybės beveik neribotos.
Dažniausios klaidos ir kaip jų išvengti
Per metus darbo su Screaming Frog mačiau visokių dalykų. Štai keletas klaidų, kurias daro net patyrę specialistai.
**Klaida #1: Šliaužiojimas be User-Agent konfigūracijos.** Kai kurios svetainės rodo skirtingą turinį skirtingiems botams. Jei šliaužiojate su default User-Agent, galite gauti ne tą patį turinį, kurį mato Googlebot. Sprendimas: Configuration > User-Agent ir pasirinkite „Googlebot” arba „Googlebot Smartphone” mobiliems.
**Klaida #2: Ignoravimas JavaScript renderinimo.** Šiuolaikinės svetainės dažnai naudoja React, Vue ar Angular, ir turinys generuojamas JavaScript’u. Default Screaming Frog nemato tokio turinio. Sprendimas: įjunkite JavaScript rendering (Configuration > Spider > Rendering), bet žinokite, kad tai labai sulėtins šliaužiojimą.
**Klaida #3: Šliaužiojimas per staging aplinką su production robots.txt.** Jei jūsų staging aplinka blokuoja robotus, Screaming Frog nieko nepamatys. Sprendimas: Configuration > Robots.txt ir pasirinkite „Ignore robots.txt”.
**Klaida #4: Nepakankamas crawl depth.** Default nustatymas yra 6 lygiai gilumo. Jei jūsų svetainė turi gilesnę struktūrą, kai kurie puslapiai nebus pasiekti. Sprendimas: Configuration > Limits ir padidinkite „Maximum Folder Depth”.
**Klaida #5: Duomenų nepasaugojimas.** Screaming Frog leidžia išsaugoti visą crawl sesiją į failą (.seospider formatas). Tai neįtikėtinai naudinga, nes galite vėliau grįžti prie duomenų be pakartotinio šliaužiojimo. Visada išsaugokite savo crawl rezultatus, ypač didelių svetainių.
Kai Screaming Frog tampa jūsų geriausiu draugu
Po kelių mėnesių darbo su šiuo įrankiu pradedi jį matyti visur – kaip programuotojai mato matricą. Svetainės migravimas? Screaming Frog. Konkurentų analizė? Screaming Frog. Klientas sako, kad „kažkas negerai su SEO”? Žinote atsakymą.
Vienas realus pavyzdys iš praktikos: perėmiau projektą, kur klientas skundėsi, kad organic traffic per metus nukrito 40%. Ankstesnis SEO specialistas kaltino Google algoritmo atnaujinimus, konkurentus, pandemiją – viską, tik ne save. Paleidau Screaming Frog ir per 20 minučių radau problemą: prieš pusmetį kažkas pakeitė robots.txt failą ir užblokavo visą /blog/ direktoriją, kurioje buvo 60% organic traffic generuojančio turinio. Viena eilutė robots.txt faile kainavo klientui tūkstančius eurų pajamų.
Kitas atvejis: e-commerce svetainė su 50,000 produktų. Klientas norėjo žinoti, kodėl nauji produktai neindeksuojami. Screaming Frog parodė, kad vidutiniškai reikia 8 paspaudimų nuo pagrindinio puslapio, kad pasiektumėte naują produktą. Google robotai paprasčiausiai nepasiekdavo tų puslapių per protingą laiką. Sprendimas buvo paprastas – pagerinome vidinių nuorodų struktūrą ir pridėjome XML sitemap su naujais produktais.
Įrankis taip pat puikus mokantis SEO. Vietoj to, kad skaitytumėte abstrakčius straipsnius apie „SEO best practices”, galite šliaužioti po sėkmingas svetaines ir pamatyti, kaip jos struktūruoja URL, naudoja canonical tagus, organizuoja vidinių nuorodų architektūrą. Tai kaip mokytis programavimo skaitant kitų žmonių kodą.
Žinoma, Screaming Frog nėra visagalis. Jis nepasakys jums, ar jūsų turinys geras, ar raktažodžiai tinkami, ar backlink strategija veikia. Bet jis parodys technines problemas, kurios trukdo jūsų puikiam turiniui būti rastam. Ir dažnai būtent techninės problemos yra didžiausia kliūtis SEO sėkmei – ne todėl, kad jos sudėtingos, bet todėl, kad jos nematomos be tinkamų įrankių.
Taigi, ar verta investuoti 200 eurų per metus į Screaming Frog licenciją? Jei rimtai užsiimate SEO, atsakymas yra absoliutus taip. Tai įrankis, kuris atsipirks po pirmojo projekto, sutaupys neįsivaizduojamą kiekį laiko ir padės išvengti gėdingų klaidų. O jei dar tik pradedant, nemokama versija su 500 URL limitu yra puikus būdas pradėti. Atsisiųskite, paleiskite ant savo svetainės ir pasiruoškite kai kuriems nemalonumams – greičiausiai rasite daugiau problemų, nei tikėjotės. Bet bent jau žinosite, nuo ko pradėti.