Testy A/B
Większość testów A/B kończy się porażką, ponieważ są ogłaszane zbyt wcześnie, prowadzone przy niewystarczającym ruchu lub traktowane jako jednorazowe eksperymenty zamiast kumulującej się wiedzy. Projektujemy każdy test z obliczeniami minimalnego wykrywalnego efektu i udokumentowanymi wymaganiami wielkości próby, zanim jakikolwiek wariant zostanie uruchomiony — abyś wiedział, że test jest warty przeprowadzenia, zanim go przeprowadzisz.
Rygor statystyczny stosowany w każdym eksperymencie
Branżowym standardem jest uruchomienie testu, obserwowanie panelu przez tydzień i ogłoszenie zwycięzcy, gdy wykres słupkowy wygląda dobrze. Takie podejście produkuje fałszywe pozytywy w tempie, które zaniepokoiłoby studenta statystyki pierwszego roku. Obliczamy minimalny wykrywalny efekt, ustalamy wymaganą wielkość próby i czas trwania przed uruchomieniem testu — nie po.
Każdy test produkuje udokumentowany wniosek niezależnie od wyniku. Przegrane testy mówią nam coś prawdziwego o twoich użytkownikach. Ta zakumulowana wiedza się kumuluje — każda hipoteza jest bardziej precyzyjna dzięki temu, czego nauczył nas poprzedni test. Śledzimy i dzielimy się każdym spostrzeżeniem, dzięki czemu wiedza pozostaje w twoim biznesie na stałe.
Usługi testów A/B
Projektowanie testów i hipotezy
Każdy eksperyment zaczyna się od uzasadnionej hipotezy powiązanej z zaobserwowanym zachowaniem użytkowników. Obliczamy minimalny wykrywalny efekt i wymaganą wielkość próby, zanim cokolwiek zostanie wdrożone — jeśli test nie jest wart przeprowadzenia przy twoim ruchu, mówimy o tym z góry.
Analiza statystyczna i raportowanie
Testowanie istotności bayesowskie lub frekwencjonistyczne, w zależności od twojej tolerancji ryzyka i wzorców ruchu. Istotność jest oceniana dopiero po osiągnięciu wcześniej określonej wielkości próby. Wyniki zawierają przedziały ufności, zaobserwowany wzrost w porównaniu z prognozowanym oraz interpretację prostym językiem obok liczb.
Testy tekstu i przekazu
Nagłówki, CTA, propozycje wartości, umiejscowienie dowodu społecznego i mikrotekst — wszystko to porusza współczynniki konwersji, często bardziej niż zmiany układu. Piszemy i testujemy warianty tekstu systematycznie, traktując przekaz jako pełnoprawną zmienną eksperymentalną, a nie coś dodatkowego.
Testy wielowariantowe
Gdy musisz zrozumieć, jak wchodzi w interakcję wiele elementów i które kombinacje działają najlepiej, projektujemy testy wielowariantowe z właściwą strukturą faktorialną i alokacją ruchu. Strony o wysokim ruchu, gdzie liczą się efekty interakcji, otrzymują podejście, na jakie zasługują.
Najczęściej zadawane pytania
Jak długo powinien trwać test A/B?
Wystarczająco długo, aby osiągnąć wcześniej obliczoną wielkość próby, i nigdy krócej niż dwa pełne cykle biznesowe (zwykle minimum dwa tygodnie). Dokładny czas trwania zależy od twojego bazowego współczynnika konwersji, minimalnego wykrywalnego efektu, na którym ci zależy, oraz dziennego ruchu. Obliczamy wymagany czas trwania przed uruchomieniem testu — wcześniejsze zatrzymanie, ponieważ wariant wygląda dobrze, jest najczęstszą przyczyną fałszywych pozytywów w testach A/B.
Co można testować A/B?
Prawie każdy element, który użytkownik widzi lub z którym wchodzi w interakcję: nagłówki, CTA, obrazy hero, wyświetlanie cen, układy formularzy, etapy przepływu zakupu, nawigację, umiejscowienie dowodu społecznego, strukturę strony i mikrotekst. Ograniczeniem jest ruch — elementy głęboko w lejku o niskim ruchu zajmują zbyt długo, aby osiągnąć istotność. Priorytetyzujemy testy na stronach o wysokim ruchu i dużym wpływie, gdzie wyniki są osiągalne w rozsądnym czasie.
Jaką istotność statystyczną stosujecie w testach A/B?
Celujemy w minimum 95% pewności (p < 0,05), z 80% mocą statystyczną — co oznacza 80% szansy na wykrycie rzeczywistego efektu, jeśli istnieje. Dla testów o wysokim ruchu i niskim ryzyku możemy zaakceptować 90% pewności. Dla testów o istotnych konsekwencjach biznesowych (ceny, poważna przebudowa UX) trzymamy się 95% lub wyższej. Dokumentujemy wybrany próg i uzasadnienie przed rozpoczęciem każdego testu, aby kryteria decyzyjne były ustalone przed nadejściem wyników.
Ile ruchu potrzebujemy do testów A/B?
Zależy to od twojego bazowego współczynnika konwersji i wielkości poprawy, którą próbujesz wykryć. Jako ogólna wskazówka: jeśli twoja strona konwertuje na 3% i chcesz wykryć 15% względną poprawę (do 3,45%), potrzebujesz około 10 000 odwiedzających na wariant. Niższe bazowe wskaźniki lub mniejsze docelowe efekty wymagają proporcjonalnie więcej ruchu. Przeprowadzamy obliczenie mocy dla twoich konkretnych liczb i mówimy ci, czy test jest wykonalny, zanim go zaprojektujemy.
Przestań prowadzić testy A/B, które nie osiągają istotności
Powiedz nam swój obecny współczynnik konwersji i wolumeny ruchu. Obliczymy, co jest faktycznie testowalne i które eksperymenty skumulują się najszybciej.
Skontaktuj się z nami → Optymalizacja współczynnika konwersji →