A/B Testi
Çoğu A/B testi, çok erken sonlandırıldığı, yetersiz trafikte çalıştırıldığı veya katlanarak büyüyen bir bilgi birikimi yerine tek seferlik deneyler olarak ele alındığı için başarısız olur. Tek bir varyant canlıya alınmadan önce her testi minimum tespit edilebilir etki hesaplamaları ve belgelenmiş örneklem büyüklüğü gereksinimleriyle tasarlarız — böylece testi çalıştırmadan önce onun çalıştırmaya değer olduğunu bilirsiniz.
Her Deneye Uygulanan İstatistiksel Titizlik
Sektörün varsayılan yaklaşımı bir testi başlatmak, bir hafta boyunca panoyu izlemek ve çubuk grafik iyi göründüğünde bir kazanan ilan etmektir. Bu yaklaşım, birinci sınıf bir istatistik öğrencisini kaygılandıracak bir oranda yanlış pozitif üretir. Minimum tespit edilebilir etkiyi hesaplar, gereken örneklem büyüklüğünü belirler ve çalışma süresini test başlamadan önce — sonra değil — ayarlarız.
Her test, sonucu ne olursa olsun belgelenmiş bir öğrenim üretir. Kaybeden testler bile kullanıcılarınız hakkında gerçek bir şey söyler. Bu birikmiş bilgi katlanarak büyür — her hipotez, son testin bize öğrettikleri sayesinde daha keskin hale gelir. Her içgörüyü takip eder ve paylaşırız, böylece öğrenim işletmenizde kalıcı olarak yaşar.
A/B Testi Hizmetleri
Test Tasarımı ve Hipotez
Her deney, gözlemlenen kullanıcı davranışına bağlı, temellendirilmiş bir hipotezle başlar. Herhangi bir şey canlıya alınmadan önce minimum tespit edilebilir etkiyi ve gereken örneklem büyüklüğünü hesaplarız — trafiğiniz göz önüne alındığında test çalıştırmaya değmiyorsa, bunu size baştan söyleriz.
İstatistiksel Analiz ve Raporlama
Risk toleransınıza ve trafik desenlerinize bağlı olarak Bayesyen veya frekansçı anlamlılık testi. Anlamlılık, yalnızca önceden belirlenen örneklem büyüklüğüne ulaşıldıktan sonra değerlendirilir. Sonuçlar; güven aralıklarını, gözlenen artışı tahmin edilenle karşılaştırmayı ve rakamların yanında sade bir dille yapılan yorumu içerir.
Metin ve Mesajlaşma Testleri
Başlıklar, CTA'lar, değer önerileri, sosyal kanıt yerleşimi ve mikro metinler dönüşüm oranlarını hareket ettirir — genellikle düzen değişikliklerinden daha fazla. Metin varyantlarını sistematik olarak yazar ve test ederiz; mesajlaşmayı bir sonradan akla gelen fikir değil, birinci sınıf bir deney değişkeni olarak ele alırız.
Çok Değişkenli Testler
Birden fazla öğenin nasıl etkileşime girdiğini ve hangi kombinasyonların en iyi performansı gösterdiğini anlamanız gerektiğinde, doğru faktöriyel yapı ve trafik dağılımıyla çok değişkenli testler tasarlarız. Etkileşim etkilerinin önemli olduğu yüksek trafikli sayfalar, hak ettikleri yaklaşımı alır.
Sıkça sorulan sorular
Bir A/B testi ne kadar süre çalışmalı?
Önceden hesaplanan örneklem büyüklüğüne ulaşacak kadar uzun ve asla iki tam iş döngüsünden (tipik olarak en az iki hafta) daha kısa değil. Kesin süre, temel dönüşüm oranınıza, önemsediğiniz minimum tespit edilebilir etkiye ve günlük trafiğinize bağlıdır. Gereken çalışma süresini test başlamadan önce hesaplarız — varyant iyi göründüğü için erken durdurmak, A/B testinde en yaygın yanlış pozitif nedenidir.
Neler A/B testine tabi tutulabilir?
Bir kullanıcının gördüğü veya etkileşimde bulunduğu neredeyse her öğe: başlıklar, CTA'lar, ana görseller, fiyatlandırma görünümleri, form düzenleri, ödeme akışı adımları, navigasyon, sosyal kanıt yerleşimi, sayfa yapısı ve mikro metinler. Kısıtlama trafiktir — düşük trafikli bir huninin derinliklerindeki öğelerin anlamlılığa ulaşması çok uzun sürer. Sonuçların makul bir zaman çerçevesinde elde edilebildiği yüksek trafikli, yüksek etkili sayfalardaki testlere öncelik veririz.
A/B testleri için hangi istatistiksel anlamlılığı kullanıyorsunuz?
Minimum olarak %95 güven (p < 0,05) hedefleriz, %80 istatistiksel güçle — yani gerçek bir etki varsa onu tespit etme şansının %80 olması. Yüksek trafikli, düşük riskli testler için %90 güveni kabul edebiliriz. Önemli iş sonuçları olan testler için (fiyatlandırma, büyük UX yeniden yapılandırması) %95 veya daha yükseğe bağlı kalırız. Seçilen eşiği ve gerekçesini her test başlamadan önce belgeleriz, böylece karar kriterleri sonuçlar gelmeden önce sabitlenir.
A/B testi için ne kadar trafiğe ihtiyacımız var?
Bu, temel dönüşüm oranınıza ve tespit etmeye çalıştığınız iyileştirmenin büyüklüğüne bağlıdır. Kaba bir kılavuz olarak: sayfanız %3 dönüşüm sağlıyorsa ve %15 oranında bağıl bir iyileştirme (%3,45'e) tespit etmek istiyorsanız, varyant başına kabaca 10.000 ziyaretçiye ihtiyacınız var. Daha düşük temel oranlar veya daha küçük hedef etkiler orantılı olarak daha fazla trafik gerektirir. Sizin kendi rakamlarınız için güç hesaplamasını yapar ve tasarlamadan önce bir testin uygulanabilir olup olmadığını söyleriz.
Anlamlılığa Ulaşmayan A/B Testleri Çalıştırmayı Durdurun
Bize mevcut dönüşüm oranınızı ve trafik hacimlerinizi anlatın. Gerçekten test edilebilir olanı ve hangi deneylerin en hızlı katlanarak büyüyeceğini hesaplayalım.
Bize ulaşın → Dönüşüm Oranı Optimizasyonu →