Statistička značajnost

Statistička značajnost je mjera koliko je vjerovatno da je razlika između dvije verzije stvarna, a ne slučajna razlika koja bi se pojavila i bez ijedne izmjene.

Pojam se najčešće sretne uz A/B testiranje, u rečenici koju izgovori alat: test je dostigao 95 posto pouzdanosti. Vrijedi znati šta ta rečenica obećava, jer se na nju oslanjaju odluke koje koštaju.

Zašto sama razlika ništa ne govori

Bacite novčić stotinu puta i nećete dobiti tačno pedeset pisama. Dobit ćete pedeset četiri, pa četrdeset sedam. Novčić se nije promijenio.

Isto je i sa sajtom. Dvije verzije iste stranice, bez ijedne izmjene, pokazat će različite brojeve. Razlika u konverzijskoj stopi od pola procenta na dvije stotine posjeta je šum, a ne rezultat.

Značajnost odgovara na jedno pitanje: koliko je vjerovatno da bi se ovolika razlika pojavila i kad između verzija nema nikakve stvarne razlike. Ako je odgovor da bi se to dešavalo rijetko, razlici se počinje vjerovati.

Šta zapravo znači 95 posto

Granica od 95 posto je dogovor, ne pravilo prirode. Znači da bi se izmjerena razlika slučajno pojavila u manje od pet od sto slučajeva.

Iz toga slijedi nešto što se rijetko kaže naglas. Ako testirate dvadeset izmjena koje ne rade ništa, jedna će vam ispasti kao pobjednik. Zato se testira ono za šta postoji razlog, a ne dvadeset nasumičnih ideja.

Granica se smije pomjerati. Izmjena boje dugmeta koja ne košta ništa može se prihvatiti i na 90 posto. Preuređenje naplatnog koraka u trgovini zaslužuje više.

Šta značajnost ne govori

Ne govori koliko je razlika velika. Uz dovoljno prometa, razlika od pola procenta postaje značajna, a na vaš prihod ne utiče ni koliko sitnina.

Ne govori koliko će trajati. Verzija koja je pobijedila u martu ne mora vrijediti u decembru, kad kupci imaju drugu namjeru.

Ne govori da se isplati. Test može pokazati više klikova na dugme, a manje naplaćenih narudžbi. Zato se unaprijed bira jedan broj koji odlučuje, o čemu više stoji pod KPI-jem.

Koliko podataka treba

Broj se ne pogađa nego računa, prije početka, u jednom od besplatnih kalkulatora. U njega ulaze tri stvari: trenutna konverzijska stopa, najmanja razlika koju vrijedi uhvatiti i željena pouzdanost.

Odnos je nemilosrdan. Ako želite uhvatiti duplo manju razliku, treba vam otprilike četiri puta više posjeta. Zato test koji traži jedan procent poboljšanja obično nije moguć kod nas.

Kad kalkulator kaže da vam treba trideset hiljada posjeta po verziji, a sajt ih ima dvije hiljade mjesečno, odgovor nije da se test pusti duže. Odgovor je da se ne testira.

Zavirivanje je najskuplja navika

Alat pokazuje rezultat u stvarnom vremenu, i to je zamka.

Brojka pouzdanosti skače dok podaci pristižu. Skoro svaki test u nekom trenutku slučajno pređe 95 posto, pa se vrati dolje. Ko gleda svaki dan i prekine čim vidi zeleno, dobit će pobjednika u testovima u kojima razlike uopšte nema.

Zato se prije početka zapiše koliko posjeta i koliko dana test traje, i rezultat se čita tek tada. Ta jedna rečenica, zapisana unaprijed, dijeli test od gatanja.

Dvije sedmice, bez izuzetka

Uz broj posjeta ide i vrijeme. Ponedjeljak ujutro i subota uveče nisu isti ljudi ni ista namjera.

Test koji traje pet radnih dana mjeri radnu sedmicu. Test koji počne u utorak i završi u četvrtak sljedeće sedmice mjeri jedan komad kalendara. Pune sedmice, od ponedjeljka do nedjelje, uklanjaju taj problem bez ijednog računa.

Isto vrijedi za sezonu. Test pušten preko Crnog petka ne govori ništa o ostatku godine.

Šta raditi kad prometa nema dovoljno

Većina sajtova u Bosni i Hercegovini je u ovoj situaciji, i to nije sramota nego okolnost.

Mjerite korake kojih ima više. Dodavanje u korpu, klik na broj telefona, otvaranje cjenovnika. O tome više stoji pod mikrokonverzijom. Tih događaja ima desetak puta više od narudžbi, pa se razlika vidi brže.

Popravljajte ono što se ne testira. Forma s jedanaest polja, cijena koja se nigdje ne spominje i stranica koja se učitava pet sekundi nisu predmet testa. To su greške, i mijenjaju se odmah.

Testirajte krupno. Nova stranica protiv stare daje razliku koja se vidi i na manjem uzorku. Nijansa dugmeta ne.

Pitajte ljude. Pet razgovora s kupcima objasni više nego test koji nikad neće završiti. Ostatak pristupa opisan je pod CRO.

Ista logika i izvan testova

Pravilo vrijedi svuda gdje se porede dva broja.

Prošla sedmica je bila bolja od pretprošle za sedam posto. To najčešće nije ništa. Mjesec s tri narudžbe više nije trend. Oglas koji je u dva dana imao bolji rezultat nije pobjednik.

Kad neko na sastanku kaže da je nešto poraslo, prvo pitanje je koliko je podataka iza toga, a drugo koliko takav skok raste i pada sam od sebe.

Greške koje najčešće viđamo

Prva je prekid testa čim se pojavi 95 posto.

Druga je test na uzorku od nekoliko desetina konverzija.

Treća je izmjena verzije usred testa.

Četvrta je dvadeset testiranih ideja bez ijednog razloga iza njih.

Peta je značajna razlika od pola procenta proglašena uspjehom.

Šesta je test koji traje pet dana, pa se poredi radna sedmica s vikendom.

Lista za provjeru

• Je li broj posjeta izračunat prije početka testa?
• Je li zapisano koliko dana test traje?
• Pokriva li test pune sedmice?
• Koji jedan broj odlučuje o pobjedniku?
• Postoji li razlog zbog kojeg se baš ova izmjena testira?
• Koliko je razlika velika, izraženo u novcu, a ne u procentima?
• Je li verzija mijenjana dok je test trajao?
• Šta radite ako rezultat ostane neodređen?

Pojmovi koje ćete čuti uz značajnost

• p-vrijednost: vjerovatnoća da bi se ovolika razlika pojavila i bez stvarne razlike.
• Interval pouzdanosti: raspon u kojem se stvarna vrijednost najvjerovatnije nalazi.
• Snaga testa: sposobnost testa da uoči razliku koja zaista postoji.
• Najmanja razlika koja se traži: koliko poboljšanje mora biti veliko da bi test imao smisla.
• Lažno pozitivan rezultat: pobjednik koji to nije.
• A/B testiranje: poređenje dvije verzije na stvarnim posjetiocima.