Crawl budžet

Crawl budžet je broj stranica koje Google u nekom periodu pročita na vašem sajtu. Nije broj koji negdje piše ni postavka koju možete promijeniti, nego rezultat dvije stvari: koliko vaš server podnosi, i koliko Google procjenjuje da se isplati vraćati.

Prvo, iskrena ograda. Za veliku većinu firmi u BiH ovo nije tema. Google je sam rekao da se o tome trebaju brinuti sajtovi s desetinama hiljada adresa i oni koji se mijenjaju svaki dan. Sajt s pet stotina stranica bude pročitan cijeli, redovno, bez ikakvog podešavanja.

Ako vodite takav sajt, ostatak ove stranice možete preskočiti. Ako vodite trgovinu s velikim katalogom ili portal, ovdje je dio razloga zašto nova ponuda kasni u pretragu.

Od čega se sastoji

Google budžet opisuje kao zbir dvije stvari.

Kapacitet. Koliko zahtjeva robot smije poslati a da ne uspori sajt ljudima koji ga koriste. Kad server odgovara brzo, kapacitet raste. Kad počne kasniti ili vraćati greške, robot uspori i šalje manje zahtjeva.

Potražnja. Koliko Google želi čitati vaš sajt. Stranice koje su popularne, koje se često mijenjaju i na koje vode linkovi čitaju se češće. Stare stranice koje niko ne otvara čitaju se rjeđe.

Budžet je manji od te dvije vrijednosti. Najbrži server na svijetu neće dobiti više čitanja ako sadržaj nikoga ne zanima, a najzanimljiviji sadržaj se neće čitati često ako server pada.

Gdje se budžet troši uzalud

Kod velikih sajtova problem skoro nikad nije premalen budžet nego budžet potrošen na adrese koje ništa ne donose.

• Kombinacije filtera. Kategorija s filterima po veličini, boji, cijeni i brendu proizvede desetine hiljada adresa od nekoliko stotina proizvoda.
• Parametri za sortiranje i prikaz. Isti spisak poredan po cijeni, po imenu, po datumu, dvadeset ili pedeset po stranici.
• Rezultati interne pretrage. Beskonačan broj gotovo praznih stranica.
• Lanci preusmjerenja. Adresa koja vodi na adresu koja vodi na treću.
• Stranice koje vraćaju grešku, na koje i dalje vode stari linkovi.
• Kalendari i arhive koje se protežu u beskonačnost.

Kod trgovina te adrese lako budu deset puta brojnije od stvarnih proizvoda. Robot tada provede većinu vremena na stranicama koje nikome ne trebaju, a nova kolekcija čeka.

Kako se to vidi

U Search Consoleu, pod postavkama, stoji izvještaj o statistici puzanja. Pokazuje koliko je zahtjeva robot slao po danu, koliko je server u prosjeku odgovarao, i koje je vrste odgovora dobijao.

Tri obrasca vrijedi prepoznati.

Nagli pad zahtjeva zajedno s rastom vremena odgovora znači da server ne stiže. Tu je rješenje na strani hostinga, a ne sadržaja.

Velik udio odgovora s preusmjerenjem ili greškom znači da robot troši vrijeme na stare adrese. Rješava se čišćenjem internih linkova i sitemapa.

Visok broj zahtjeva uz spor ulazak novih stranica u indeks znači da se čita mnogo, ali pogrešno. Tu se gleda koje adrese robot zapravo čita, i obično se nađu filteri i parametri.

Uz to, u izvještaju Pages rast broja adresa sa statusom otkrivena, trenutno nije indeksirana je najjasniji znak da Google zna za stranice ali ne stiže do njih.

Šta se radi

Redoslijed je od najjeftinijeg ka najskupljem.

Prvo se zatvore adrese koje ne treba čitati. Kombinacije filtera i parametri se zabrane u robots.txt, ili se sajt podesi tako da te adrese uopšte ne nastaju kao zasebne stranice. Ovdje vrijedi napomena: noindex ne štedi budžet, jer robot i dalje mora otvoriti stranicu da bi pročitao oznaku.

Zatim se očisti ono na šta robot nailazi. Interni linkovi koji vode na preusmjerene adrese se prepravljaju da vode direktno na odredište. Lanci preusmjerenja se skraćuju na jedan korak.

Onda se uredi sitemap. U njemu stoje samo kanonske adrese koje želite u pretrazi, s tačnim datumima izmjena. Mapa ne povećava budžet, ali ga usmjerava.

Na kraju server. Ako statistika pokazuje sporo odgovaranje, brži hosting i predmemorija direktno povećavaju koliko robot može pročitati.

Šta ne pomaže

Nekoliko poteza se redovno predlaže, a ne rade.

Ručno slanje stotina adresa na indeksiranje. Alat u Search Consoleu je za pojedinačne stranice i ima dnevno ograničenje; ne zaobilazi budžet.

Postavljanje učestalosti i prioriteta u sitemapu. Google je rekao da te oznake uglavnom ignoriše.

Noindex na hiljade stranica s ciljem uštede. Štedi indeks, ne čitanje.

I pokušaj da se robotu kaže da dolazi češće. Takva postavka ne postoji.

Primjer iz trgovine

Uzmimo trgovinu odjećom s oko tri hiljade proizvoda i sedamdesetak kategorija.

Svaka kategorija ima filtere po veličini, boji, brendu i cijeni, i sortiranje na četiri načina. Svaka kombinacija dobija svoju adresu. Samo jedna kategorija s osam veličina, dvanaest boja i deset brendova proizvede hiljade mogućih adresa, a kad se tome dodaju sortiranje i broj proizvoda po stranici, broj za cijeli sajt ide u stotine hiljada.

Google tih stotina hiljada ne čita odjednom, ali ih otkriva kroz linkove u filterima i počne ih obilaziti. U statistici puzanja se vidi velik broj zahtjeva, a u izvještaju Pages rastuća gomila adresa koje čekaju.

Nova kolekcija za sezonu se objavi u ponedjeljak. Robot do nje stigne za desetak dana, jer je zauzet kombinacijama crvenih majica veličine S poredanih po cijeni. Za trgovinu koja živi od sezone, deset dana je pola prodajnog perioda.

Poslije zatvaranja filtera u robots.txt i čišćenja internih linkova broj poznatih adresa se kroz nekoliko sedmica spusti na nekoliko hiljada, a nova kolekcija sljedeći put uđe u indeks za dva dana. Ukupan broj zahtjeva se pritom ne mora promijeniti; mijenja se na šta se troše.

Greške koje najčešće viđamo

Prva je briga o crawl budžetu na sajtu od sto stranica. Vrijeme se troši na problem koji ne postoji, dok stvarni razlog slabe pozicije stoji negdje drugdje.

Druga je filter koji generiše adrese bez ikakvog ograničenja, otkriven tek kad Search Console pokaže stotine hiljada poznatih adresa na sajtu s nekoliko hiljada proizvoda.

Treća je korištenje noindexa umjesto zabrane za dijelove koje ne treba čitati.

Četvrta je sitemap pun preusmjerenih i obrisanih adresa.

Peta je spor server koji niko ne povezuje s tim što nove stranice kasne.

Šesta je zabrana u robots.txt postavljena preširoko, pa se uz filtere zatvori i dio kategorija koje treba čitati.

Lista za provjeru

• Ima li vaš sajt više od nekoliko hiljada adresa, ili se ova tema vas ne tiče?
• Koliko adresa Search Console zna za vaš sajt, u poređenju s brojem stvarnih stranica?
• Proizvode li filteri i sortiranje zasebne adrese koje robot može čitati?
• Koliko u prosjeku server odgovara, po statistici puzanja?
• Vode li interni linkovi na preusmjerene adrese?
• Ima li u sitemapu adresa koje preusmjeravaju ili vraćaju grešku?
• Koliko dana treba da nova stranica uđe u indeks?

Pojmovi koje ćete čuti uz crawl budžet

• Crawling: čitanje stranica koje ovaj budžet ograničava.
• Indeksacija: upis pročitane stranice u bazu, korak poslije čitanja.
• Statistika puzanja: izvještaj u Search Consoleu o tome koliko robot čita sajt.
• Fasetna navigacija: filteri u trgovini, najčešći izvor adresa koje troše budžet.
• Lanac preusmjerenja: adresa koja kroz više koraka stiže do odredišta.
• Parametar: dio adrese iza upitnika, kojim se najčešće mijenja sortiranje ili filter.