A/B testavimo agentūra
Dauguma A/B testų nepavyksta, nes jie baigiami per anksti, vykdomi esant nepakankamam srautui arba laikomi vienkartiniais eksperimentais, o ne kaupiamomis žiniomis. Kiekvienam testui projektuojame mažiausio aptinkamo efekto skaičiavimus ir dokumentuojame imties dydžio reikalavimus prieš paleidžiant bet kokią variantą — kad žinotumėte, ar verta vykdyti testą, prieš jį vykdant.
Statistinis tikslumas kiekviename eksperimente
Pramonės numatytoji tvarka yra paleisti testą, savaitę stebėti informacinį skydelį ir paskelbti nugalėtoją, kai stulpelinė diagrama atrodo gerai. Toks požiūris sukuria klaidingai teigiamą rezultatą tokiu dažniu, kuris susirūpintų pirmakursio statistikos studentą. Mes apskaičiuojame mažiausią aptinkamą efektą, nustatome reikiamą imties dydį ir nustatome vykdymo laiką prieš paleidžiant testą — o ne po jo.
Kiekvienas testas sukuria dokumentuotą pamoką nepriklausomai nuo rezultato. Pralaimėję testai mums sako kažką realaus apie jūsų vartotojus. Tos sukauptos žinios kaupiasi — kiekviena hipotezė yra tikslesnė dėl to, ko mus išmokė paskutinis testas. Stebime ir dalinamės kiekviena įžvalga, kad žinios liktų jūsų įmonėje nuolat.
A/B testavimo paslaugos
Testo projektavimas ir hipotezė
Kiekvienas eksperimentas pradedamas pagrįsta hipoteze, susijusia su stebima vartotojų elgsena. Apskaičiuojame mažiausią aptinkamą efektą ir reikiamą imties dydį prieš kažką paleidžiant — jei testas neverta vykdyti atsižvelgiant į jūsų srautą, pranešame iš anksto.
Statistinė analizė ir ataskaitų teikimas
Bajeso arba dažnių reikšmingumo testavimas, priklausomai nuo jūsų rizikos tolerancijos ir srauto modelių. Reikšmingumas įvertinamas tik pasiekus iš anksto nustatytą imties dydį. Rezultatai apima pasitikėjimo intervalus, stebimą augimą lyginant su prognozuojamu ir paprastą anglų kalba paaiškinimą šalia skaičių.
Tekstų ir žinutių testai
Antraštės, CTA, vertės pasiūlymai, socialinių įrodymų išdėstymas ir mikrotekstai — visa tai keičia konversijų rodiklius, dažnai labiau nei išdėstymo pokyčiai. Rašome ir sistemingai testuojame teksto variantus, traktuodami žinutę kaip pirmojo lygio eksperimento kintamąjį, o ne kaip antraeilę mintį.
Daugiakryptis testavimas
Kai reikia suprasti, kaip keletas elementų sąveikauja ir kurios kombinacijos veikia geriausiai, projektuojame daugiakryptius testus su teisinga faktorine struktūra ir srauto paskirstymu. Dideliam srautui skirti puslapiai, kuriuose svarbūs sąveikos efektai, gauna jų nusipelnytą požiūrį.
Dažniausiai užduodami klausimai
Kiek laiko turėtų trukti A/B testas?
Pakankamai ilgai, kad pasiektumėte iš anksto apskaičiuotą imties dydį, ir niekada mažiau nei du pilni verslo ciklai (paprastai bent dvi savaitės). Tikslus trukmė priklauso nuo jūsų bazinio konversijų rodiklio, jus dominančio mažiausio aptinkamo efekto ir kasdienio srauto. Apskaičiuojame reikiamą vykdymo laiką prieš paleidžiant testą — ankstyvas sustabdymas, nes variantas atrodo gerai, yra dažniausia klaidingai teigiamų rezultatų priežastis A/B testavime.
Ką galima A/B testuoti?
Beveik bet kurį elementą, kurį vartotojas mato ar su kuriuo sąveikauja: antraštes, CTA, pagrindines nuotraukas, kainų rodykles, formų išdėstymus, atsiskaitymo proceso žingsnius, navigaciją, socialinių įrodymų išdėstymą, puslapių struktūrą ir mikrotekstus. Apribojimas yra srautas — elementai giliai mažo srauto piltuvėlyje reikšmingumo pasiekia per ilgai. Teikiame pirmenybę testams dideliam srautui skirtose, didelės įtakos turinčiose vietose, kur rezultatai pasiekiami per pagrįstą laikotarpį.
Kokį statistinį reikšmingumą naudojate A/B testams?
Tikslinės 95% pasitikėjimo (p < 0,05) kaip minimumas, su 80% statistine galia — tai reiškia 80% tikimybę aptikti tikrą efektą, jei jis egzistuoja. Dideliam srautui, mažos rizikos testams galime priimti 90% pasitikėjimą. Testams su reikšmingomis verslo pasekmėmis (kainodara, pagrindinė UX restruktūrizacija) laikomės 95% ar aukštesnio. Dokumentuojame pasirinktą slenkstį ir pagrindimą prieš kiekvieną testą, kad sprendimo kriterijai būtų nustatyti prieš gaunant rezultatus.
Kiek srauto reikalinga A/B testavimui?
Tai priklauso nuo jūsų bazinio konversijų rodiklio ir pagerėjimo dydžio, kurį bandote aptikti. Apytiksliai: jei jūsų puslapis konvertuoja 3% greičiu ir norite aptikti 15% santykinį pagerėjimą (iki 3,45%), jums reikia maždaug 10 000 lankytojų kiekvienai variantai. Žemesni baziniai rodikliai arba mažesni tiksliniai efektai reikalauja proporcingai daugiau srauto. Vykdome galios skaičiavimą jūsų konkretiems skaičiams ir pranešame, ar testas yra įgyvendinamas prieš jo projektavimą.
Nebevykdykite A/B testų, nepasiekiančių reikšmingumo
Pasakykite mums savo dabartinį konversijų rodiklį ir srauto apimtis. Apskaičiuosime, kas iš tikrųjų testuojama ir kurie eksperimentai kaupiasi greičiausiai.
Susisiekti → Konversijų rodiklio optimizavimas →