Indeksacija

Indeksacija je upis pročitane stranice u Googleovu bazu, iz koje se poslije slažu rezultati pretrage. Dok stranica nije u indeksu, za pretragu ne postoji: ne može se pojaviti ni na jednom upitu, ni na svom vlastitom imenu.

Ovo je korak koji se najčešće preskoči u razgovoru o SEO poslu. Priča se o pozicijama, a pozicija je pitanje koje dolazi tek poslije. Prvo pitanje je je li stranica uopšte unutra.

Tri koraka, ne jedan

Put od objave do rezultata pretrage ima tri odvojena koraka i svaki može stati.

Otkrivanje. Google mora saznati da adresa postoji. To se dešava preko linkova s drugih stranica, preko sitemapa i preko linkova s tuđih sajtova.

Čitanje, dakle crawling. Robot dolazi na stranicu, učitava je i iscrtava kao što bi je iscrtao pregledač.

Indeksacija. Tek sada Google odlučuje zaslužuje li pročitano mjesto u bazi. Ovo je odluka, a ne automatski korak, i tu se gubi većina stranica koje nikad ne uđu u pretragu.

Razlika između drugog i trećeg koraka je ono što ljude najviše zbunjuje. Stranica može biti pročitana desetak puta i i dalje ne biti u indeksu.

Zašto Google odbija stranice

Uzroci se dijele na dvije grupe, a druga je mnogo češća nego što se očekuje.

Tehnički uzroci su jasni i brzo se rješavaju. Oznaka noindex u kodu, blokada u robots.txt, kanonska oznaka koja pokazuje na drugu stranicu, ili stranica koja vraća grešku.

Uzroci u sadržaju su teži. Stranica s dvjesto riječi teksta, opis proizvoda prepisan od proizvođača kao i kod stotinu drugih trgovina, kategorija s tri artikla i bez ijedne rečenice, filter koji je proizveo adresu koju niko nikad neće tražiti.

Postoji i treći uzrok koji se rijetko imenuje: stranica na koju ne vodi nijedan interni link. Googleu to govori da ni vama nije važna. Interni linkovi su zato dio rada na indeksaciji, ne posebna tema.

Kako se to čita u Search Consoleu

Izvještaj Pages u Search Consoleu dijeli sve poznate adrese na indeksirane i neindeksirane, s razlogom za svaku grupu. Nekoliko statusa se ponavlja kod skoro svakog sajta.

• Otkrivena, trenutno nije indeksirana: Google zna za adresu, ali je nije ni pročitao.
• Puzana, trenutno nije indeksirana: pročitao ju je i odlučio da je ne prikazuje.
• Duplikat, Google je izabrao drugu kanonsku stranicu: postoji više gotovo istih stranica i on je izabrao jednu.
• Isključena oznakom noindex: vi ste tako tražili, što je u redu kod korpe i stranice zahvale.
• Alternativna stranica s ispravnom kanonskom oznakom: uredna situacija, nije greška.

Prva dva statusa su poruka o kvalitetu, ne o tehnici. Treći je poziv da se stranice spoje ili razdvoje sadržajem.

Šta se radi kad stranica ne ulazi

Redoslijed je uvijek isti i prva tri koraka traju petnaest minuta.

Prvo se provjeri tehnika: otvorite URL Inspection, zalijepite adresu i pročitajte šta piše. Ako je blokirana ili nosi noindex, tu je kraj priče i popravka je jednostavna.

Zatim se provjeri vodi li do stranice ijedan interni link. Ako ne vodi, dodaju se dva do tri iz tekstova koji se dotiču iste teme.

Onda se stranica uporedi s ostatkom sajta. Ako postoji još jedna koja govori isto, spajaju se u jednu bolju.

Tek ako sve to stoji, pitanje postaje sadržaj. Ima li stranica išta što nema nijedan od prvih deset rezultata na taj upit. Ako nema, indeksacija nije problem nego posljedica.

Ručno slanje na indeksiranje se radi na kraju, kad je uzrok uklonjen, a ne umjesto toga.

Manje stranica, bolji indeks

Kod trgovina i starijih sajtova se redovno pokaže da je polovina adresa u indeksu bezvrijedna: stare akcije, prazne kategorije, kombinacije filtera, stranice oznaka s jednim člankom.

Te stranice ne donose ništa, a troše vrijeme robota i razvlače sliku o tome čime se sajt bavi. Posao koji tu vrijedi uraditi zove se čišćenje sadržaja i sastoji se od tri odluke po stranici: ojačati, spojiti s drugom, ili ukloniti.

Ukloniti ne znači obrisati bez traga. Adresa se ili preusmjeri redirectom na najbližu srodnu stranicu, ili ostane s oznakom noindex ako je i dalje potrebna ljudima.

Rezultat je obično da broj indeksiranih stranica padne, a organski promet poraste. To iznenadi svakoga ko je navikao da veći broj znači bolje.

Kod kojih sajtova ovo postaje stalan posao

Kod prezentacijskog sajta s petnaest podstranica indeksacija je jednokratna provjera. Sve uđe u prvih nekoliko dana i tu se priča završava.

Postaje stalan posao čim sajt počne sam proizvoditi adrese. Web trgovina s filterima po veličini, boji i cijeni zna od jedne kategorije napraviti hiljade kombinacija. Portal s oznakama uz svaki članak proizvede stranicu po oznaci, često s jednim jedinim tekstom na njoj.

Tu se odluka donosi unaprijed, a ne kad se problem pojavi. Koje vrste stranica uopšte smiju u indeks, a koje nose oznaku noindex od dana kad su napravljene. Kod trgovina to obično znači da kategorije idu unutra, a kombinacije filtera ne, osim onih nekoliko koje ljudi zaista traže.

Druga stalna stavka je asortiman koji se mijenja. Proizvod koji se više ne prodaje ostavlja adresu za sobom, i tih adresa se kroz godine nakupe stotine. Dogovor o tome šta se s njima dešava, preusmjerenje na kategoriju ili ostanak stranice s napomenom, vrijedi donijeti jednom i onda ga se držati.

Greške koje najčešće viđamo

Prva je uvjerenje da sitemap garantuje indeksaciju. On pomaže otkrivanju i ništa više. Stranica može godinama stajati u mapi i nikad ne ući u indeks.

Druga je masovno slanje adresa na indeksiranje umjesto rješavanja uzroka. Google ih pročita i ponovo odbije, samo brže.

Treća je istovremena blokada i noindex. Stranica je zabranjena u robots.txt, pa robot nikad ne pročita oznaku koja mu govori da je ne indeksira, i ona ostane u rezultatima bez opisa.

Četvrta je objavljivanje stotina gotovo istih stranica, najčešće po gradovima ili po veličinama proizvoda. Google indeksira nekoliko i ostalo ignoriše, a utrošeno vrijeme se ne vraća.

Peta je panika zbog statusa koji nije greška. Alternativna stranica s ispravnom kanonskom oznakom i stranice s noindexom koje ste sami tako označili su uredno stanje.

Šesta je gledanje samo ukupnog broja. Važnije je koje su stranice unutra nego koliko ih je, pa spisak vrijedi otvoriti i pročitati, a ne samo prebrojati.

Lista za provjeru

• Koliko je vaših stranica indeksirano, a koliko ne, po izvještaju Pages?
• Stoji li ijedna stranica koju želite u pretrazi sa statusom otkrivena ili puzana bez indeksacije?
• Vodi li do svake važne stranice barem jedan interni link?
• Ima li u indeksu stranica koje tamo ne bi trebale biti, kao filteri i prazne kategorije?
• Nosi li ijedna stranica istovremeno noindex i blokadu u robots.txt?
• Kad ste zadnji put provjerili je li nova stranica ušla u indeks poslije objave?
• Postoje li dvije vaše stranice koje govore gotovo isto?

Pojmovi koje ćete čuti uz indeksaciju

• Crawling: čitanje stranica, korak prije indeksacije.
• Indeks: Googleova baza iz koje se slažu rezultati pretrage.
• Noindex: oznaka kojom tražite da stranica ne bude u rezultatima.
• URL Inspection: alat u Search Consoleu za provjeru statusa jedne adrese.
• Crawl budžet: vrijeme koje Google odvoji za vaš sajt; postaje bitno tek kod velikih sajtova.
• Canonical: oznaka koja govori koja je verzija stranice glavna.