Crawling

Crawling je proces kojim Googleovi botovi, prije svih Googlebot, prolaze kroz web: prate linkove, otkrivaju stranice i čitaju njihov sadržaj. To je prvi korak svakog SEO posla.

Posljedica je neugodna za sve koji su uložili u sadržaj. Stranica koju bot nije posjetio ne može biti ni indeksirana ni rangirana, pa za pretragu jednostavno ne postoji, ma koliko bila korisna. Zato se tehnička provjera radi prije pisanja, a ne poslije: nema smisla objavljivati tekstove na sajtu do kojeg bot teško dolazi ili s kojeg odlazi nakon dvije stranice.

Kako Googlebot otkriva vaše stranice

Bot kreće od stranica koje već zna i prati linkove s njih dalje. Zato je web za njega mreža puteva, a stranica bez ijednog puta prema sebi ostaje na kraju svijeta.

Novu stranicu otkriva na dva glavna načina: preko linka s neke već poznate stranice ili preko sitemapa koji sami prijavite u Search Console. Postoji i treći, sporiji put: spominjanja i linkovi s tuđih sajtova, koji istovremeno ubrzavaju otkrivanje i grade autoritet. Stranica na koju ne vodi nijedan link, čak ni s vlastitog sajta, zna mjesecima čekati na otkrivanje.

Iz toga slijedi jednostavno pravilo za novi sajt. Prije nego što se čeka Google, provjeri se vodi li do svake bitne stranice put s početne, u najviše tri klika. Stranice koje su dostupne samo kroz internu pretragu ili kroz filter na spisku proizvoda za bota praktično ne postoje, ma koliko ih posjetilac lako nalazio.

Od posjete bota do pozicije: tri koraka

1. Crawling: bot otkrije stranicu i pročita njen sadržaj.
2. Indeksacija: Google odluči hoće li stranicu uvrstiti u svoju bazu.
3. Rangiranje: stranica se takmiči za poziciju u rezultatima pretrage.

Svaki korak je uslov za sljedeći. Najviše nesporazuma nastaje između prvog i drugog: bot može pročitati stranicu i svejedno odlučiti da je ne indeksira, najčešće zbog tankog ili dupliranog sadržaja. Vlasnik sajta u međuvremenu vidi da je stranica “posjećena” i zaključi da je sve u redu, pa čeka pozicije koje nikad neće doći.

Isto vrijedi i za treći korak. Indeksirana stranica ne znači vidljiva stranica; ona je samo ušla u takmičenje. Ovo razlikovanje mijenja i način na koji se traži uzrok problema: ako stranica nije u indeksu, radi se o tehnici i kvalitetu, a ako jeste u indeksu i ne rangira, radi se o konkurenciji i namjeri pretrage.

Šta je crawl budget i koga se tiče

Google svakom sajtu dodijeli okvirni budžet: koliko će stranica posjetiti u nekom periodu. Za sajt od pedeset stranica ovo nije tema, bot ih obiđe bez problema i nema šta optimizovati.

Tema postaje za web trgovine s hiljadama URL-ova, gdje filteri, parametri i varijante proizvoda naprave more adresa. Bot tada troši posjete na bezvrijedne kombinacije filtera po boji i veličini, a nove proizvode i izmjene cijena otkriva sporo. Prodavnica iz Sarajeva koja u petak spusti cijene, a Google to primijeti u srijedu, gubi cijeli vikend prometa zbog problema koji nema veze sa sadržajem.

Rješenja su uglavnom ista svuda. Kombinacije filtera se zatvaraju u robots.txt ili označe kao verzije koje ne treba indeksirati, stranice bez proizvoda se uklanjaju, a spiskovi se skraćuju tako da bot ne mora prolaziti kroz dvadeset strana paginacije. Sve to je posao za razvojni tim, ali odluka o tome šta smije u indeks pripada onome ko vodi prodaju.

Kako olakšati posao botu

• Sitemap: uredan spisak važnih stranica, prijavljen u Search Console i bez mrtvih adresa.
• Interno linkanje: svaka bitna stranica dostupna kroz nekoliko klikova s početne.
• robots.txt: uputstvo botu šta da preskoči, recimo stranice interne pretrage i filtera.
• Brz server: bot prilagođava tempo brzini sajta, pa sa sporog hostinga pročita manje; tu se crawling dodiruje s temom Core Web Vitals.
• Čisti redirecti: lanci preusmjeravanja troše posjete i zbunjuju bota.
• Canonical oznake: jasno rečeno koja je verzija stranice glavna kad ih ima više sličnih.

Šta bota može zaustaviti

Nekoliko stvari ga zaustavi potpuno, i sve su tehničke. Prva je pogrešna linija u robots.txt datoteci, koja zna blokirati cijeli sajt; to se najčešće desi kad se testna verzija prebaci uživo bez izmjene.

Druga je noindex oznaka zaostala iz razvoja, zbog koje stranica bude pročitana i odmah odbačena. Treća je sadržaj koji se učitava tek preko JavaScripta nakon klika ili skrolanja, jer izvršavanje skripti ide u zaseban i sporiji red. Četvrta je server koji pod opterećenjem vraća greške, pa bot smanji tempo i vrati se rjeđe. Peta je zaključan sajt iza prijave, gdje bot vidi isto što i neprijavljeni posjetilac, dakle ništa.

Zajedničko im je to što se sve vide u Search Consoleu, a nijedna se ne vidi golim okom u pregledaču. Vlasnik sajta otvori stranicu, ona radi savršeno, i zaključi da je problem u sadržaju. Zato se dijagnoza uvijek počinje alatom za provjeru URL-a, gdje se vidi šta je Google zaista dobio kad je zadnji put došao.

Poruke iz Search Consolea i šta znače

Dvije poruke najčešće bune vlasnike sajtova. “Discovered, currently not indexed” znači da Google zna za stranicu, ali je još nije ni posjetio; to je obično pitanje strpljenja ili slabog internog linkanja.

“Crawled, currently not indexed” znači da je stranicu pročitao i odlučio da je ne uvrsti, najčešće zato što je tanka, duplirana ili preslična drugima. Prva se rješava linkanjem i sitemapom, druga isključivo boljim sadržajem. Ponovno slanje istog URL-a na indeksaciju u drugom slučaju ne mijenja ništa, jer se odluka nije donijela zbog toga što Google stranicu nije vidio.

Treća poruka koja izaziva paniku je “Duplicate, Google chose a different canonical”. Ona znači da je Google odlučio da je neka druga stranica glavna verzija, najčešće zato što su dvije vaše stranice preslične ili što canonical oznaka pokazuje drugdje. Rješava se razdvajanjem sadržaja ili ispravkom oznake, a ne uklanjanjem stranice.

Greške koje najčešće viđamo

Testna verzija prebačena uživo s blokadom u robots.txt. Sajt je gotov, izgleda odlično, a Google ga ne smije ni pogledati. Ovo je najskuplja greška u cijeloj listi jer se često otkrije tek nakon nekoliko mjeseci čuđenja zašto nema prometa.

Sitemap koji niko ne održava. U njemu stoje obrisane stranice, stare adrese i testne stranice, pa bot troši posjete na greške. Sitemap treba da se generiše automatski i sadrži samo stranice koje želite u indeksu.

Interno linkanje koje postoji samo u meniju. Stranice usluga su dostupne, a stotine tekstova i proizvoda su duboko zakopani, pa ih bot rijetko posjećuje. Linkovi iz teksta prema srodnim stranicama rješavaju to bez ijedne tehničke izmjene.

Lanci preusmjeravanja nakon redizajna. Stara adresa vodi na drugu, ona na treću, pa tek na konačnu. Svaki korak troši posjetu i usporava bota; preusmjerenje treba ići direktno na konačnu adresu.

Blokiranje CSS i JavaScript datoteka. Nekad se to radilo radi štednje, a danas sprečava Google da vidi kako stranica zaista izgleda, pa procjena mobilne verzije bude pogrešna.

Ignorisanje izvještaja o indeksaciji. Search Console jasno kaže koliko je stranica isključeno i zašto, a taj izvještaj se rijetko otvara. Petnaest minuta mjesečno tu otkrije probleme koji bi inače trajali sezonu.

Lista za provjeru

Prođite ovih osam stavki, po mogućnosti odmah nakon lansiranja sajta i zatim jednom mjesečno.

• Je li Search Console postavljen i vlasništvo nad domenom potvrđeno?
• Dozvoljava li robots.txt pristup svim stranicama koje želite u pretrazi?
• Postoji li nekoliko važnih stranica na kojima je zaostala noindex oznaka?
• Je li sitemap prijavljen i sadrži li samo stranice koje su stvarno žive?
• Vodi li do svake bitne stranice link u najviše tri klika s početne?
• Vraća li server greške pod opterećenjem, i koliko je vrijeme odgovora?
• Pokazuje li alat za provjeru URL-a isti sadržaj koji vidite u pregledaču?
• Znate li koliko je vaših stranica indeksirano i koliko ih je isključeno?

Pojmovi koje ćete čuti uz crawling

• Googlebot: Googleov bot; postoji mobilna i desktop verzija, a za indeksaciju presuđuje mobilna.
• Indeks: baza stranica iz koje Google slaže rezultate pretrage.
• Renderiranje: korak u kojem Google izvršava JavaScript i vidi konačnu verziju stranice.
• Crawl rate: tempo kojim bot posjećuje sajt, koji se prilagođava brzini vašeg servera.
• Log fajlovi: zapisi servera iz kojih se vidi šta je bot stvarno posjetio i kada; korisni za dijagnozu na većim sajtovima.