A/B tesztelés
A legtöbb A/B teszt azért bukik el, mert túl korán zárják le, elégtelen forgalmon futnak, vagy egyszeri kísérletként kezelik őket a kumulálódó tudás helyett. Minden tesztet minimálisan kimutatható hatás számításokkal és dokumentált mintaméret-követelményekkel tervezünk meg, mielőtt egyetlen variáns is élesbe kerülne — hogy tudja, megéri-e futtatni a tesztet, mielőtt futtatja.
Statisztikai szigor alkalmazva minden kísérletben
Az iparági alapértelmezés az, hogy elindítanak egy tesztet, egy hétig nézik a dashboardot, és nyertest hirdetnek, ha az oszlopdiagram jól néz ki. Ez a megközelítés olyan arányban termel hamis pozitívokat, amely aggasztaná egy elsőéves statisztika-hallgatót. A minimálisan kimutatható hatást a teszt indítása előtt számítjuk ki — nem utána.
Minden teszt dokumentált tanulságot hoz, függetlenül az eredménytől. A vesztes tesztek is valamit elmondanak a felhasználóiról. Ez a felhalmozott tudás kumulálódik — minden hipotézis élesebb amiatt, amit az előző teszt megtanított. Minden betekintést nyomon követünk és megosztunk, hogy a tanulság tartósan megmaradjon a vállalkozásában.
A/B tesztelési szolgáltatások
Tesztterv és hipotézis
Minden kísérlet egy megfigyelt felhasználói viselkedéshez kötött, megalapozott hipotézissel kezdődik. Kiszámítjuk a minimálisan kimutatható hatást és a szükséges mintaméretet, mielőtt bármi élesbe kerülne — ha a teszt nem éri meg futtatni a forgalma mellett, ezt előre elmondjuk.
Statisztikai elemzés és riportolás
Bayes-i vagy frekventista szignifikanciateszt, a kockázattűrésétől és forgalmi mintáitól függően. A szignifikanciát csak az előre meghatározott mintaméret elérése után értékeljük. Az eredmények tartalmaznak konfidenciaintervallumokat, a megfigyelt javulást az előre jelzetthez képest, és egyszerű nyelvű értelmezést a számok mellett.
Szöveges és üzenetküldési tesztek
A címsorok, a CTA-k, az értékajánlatok, a társadalmi bizonyíték elhelyezése és a mikroszöveg mind mozgatják a konverziós arányokat — gyakran jobban, mint az elrendezésváltoztatások. Szisztematikusan írunk és tesztelünk szövegváltozatokat, az üzenetküldést elsőrangú kísérleti változóként kezelve, nem utólagos gondolatként.
Multivariáns tesztelés
Amikor meg kell értenie, hogyan lépnek kölcsönhatásba több elem, és melyik kombináció teljesít legjobban, olyan multivariáns teszteket tervezünk, amelyek a megfelelő faktoriális struktúrával és forgalomelosztással rendelkeznek. A nagy forgalmú oldalak, ahol az interakciós hatások számítanak, megkapják a megérdemelt megközelítést.
Gyakran ismételt kérdések
Mennyi ideig fusson egy A/B teszt?
Elég hosszan, hogy elérje az előre kiszámított mintaméretet, és soha ne kevesebb, mint két teljes üzleti ciklus (jellemzően minimum két hét). A pontos időtartam a bázis konverziós arányától, az Önt érdeklő minimálisan kimutatható hatástól, és a napi forgalmától függ. A szükséges futásidőt a teszt indítása előtt számítjuk ki — a korai leállítás, mert a variáns jónak tűnik, a hamis pozitívok leggyakoribb oka az A/B tesztelésben.
Mit lehet A/B tesztelni?
Szinte bármely elemet, amelyet a felhasználó lát vagy amellyel interakcióba lép: címsorok, CTA-k, hero-képek, árazási megjelenítések, űrlapelrendezések, fizetési folyamat lépései, navigáció, társadalmi bizonyíték elhelyezése, oldalstruktúra és mikroszöveg. A korlát a forgalom — egy alacsony forgalmú tölcsér mélyén lévő elemek túl sokáig tartanak a szignifikancia eléréséhez. A nagy forgalmú, nagy hatású oldalakon lévő teszteket priorizáljuk, ahol az eredmények ésszerű időn belül elérhetők.
Milyen statisztikai szignifikanciát használnak az A/B tesztekhez?
95%-os megbízhatóságot (p < 0,05) célzunk minimumként, 80%-os statisztikai erővel — azaz 80%-os esélyt egy valós hatás kimutatására, ha az létezik. A nagy forgalmú, alacsony kockázatú teszteknél elfogadhatunk 90%-os megbízhatóságot is. A jelentős üzleti következményekkel járó teszteknél (árazás, jelentős UX-átalakítás) 95%-os vagy magasabb küszöböt tartunk. A választott küszöböt és indoklást minden teszt kezdete előtt dokumentáljuk, így a döntési kritériumok az eredmények megérkezése előtt rögzítve vannak.
Mennyi forgalom kell az A/B teszteléshez?
A bázis konverziós arányától és a kimutatni kívánt javulás méretétől függ. Nagyjából: ha az oldala 3%-on konvertál, és 15%-os relatív javulást szeretne kimutatni (3,45%-ra), variánsonként körülbelül 10 000 látogatóra van szüksége. Az alacsonyabb bázisarányok vagy kisebb célhatások arányosan több forgalmat igényelnek. Elvégezzük az erő-számítást az Ön konkrét számaira, és megmondjuk, életképes-e egy teszt, mielőtt megterveznénk.
Hagyja abba az olyan A/B tesztek futtatását, amelyek nem érik el a szignifikanciát
Mondja el jelenlegi konverziós arányát és forgalmi volumeneit. Kiszámítjuk, mi tesztelhető valójában, és mely kísérletek kumulálódnak leggyorsabban.
Kapcsolatfelvétel → Konverzióoptimalizálás →