Słownik metodologiczny · Projekt badania

Test A/B – jak porównać dwie wersje strony lub kampanii?

Test A/B to eksperyment z losowym przydziałem użytkowników do dwóch wersji i porównaniem z góry wybranej metryki. Pokazujemy jego elementy, przykład, opis do pracy i typowe błędy, w tym podglądanie wyników.

W skrócie: Test A/B to eksperyment, w którym użytkowników losowo przydziela się do wersji A (kontrolnej) i B (zmienionej), a następnie porównuje z góry wybraną metrykę, np. odsetek konwersji. Wymaga ustalenia hipotezy, liczebności i czasu trwania przed startem; zatrzymywanie testu po każdym spojrzeniu na wyniki zawyża błąd I rodzaju.

Co to jest test A/B?

Test A/B (ang. A/B test, eksperyment kontrolowany online) to eksperyment, w którym użytkowników strony, aplikacji lub odbiorców kampanii losowo przydziela się do wersji A (kontrolnej) i B (zmienionej), a potem porównuje z góry wybraną metrykę, np. odsetek konwersji. Jest to najprostszy schemat eksperymentalny z dwiema grupami. Dzięki randomizacji różnicę między wersjami można przypisać samej zmianie. Kohavi i in. (2009) nazywają kontrolowane eksperymenty w sieci najlepszym sposobem ustalania związku przyczynowego między zmianą a zachowaniem użytkowników.

Z czego składa się test A/B

  • Hipoteza i metryka główna ustalone przed startem, np. „nowy przycisk zwiększy odsetek zapisów”.
  • Jednostka randomizacji: zwykle użytkownik, a nie odsłona, by ta sama osoba nie widziała obu wersji.
  • Liczebność i czas trwania wyliczone z góry na podstawie mocy testu. Aby przy alfa = .05 i mocy 80% wykryć wzrost konwersji z 10% do 12%, power.prop.test w R daje 3841 osób na wariant.
  • Analiza: test dla dwóch proporcji, różnica z przedziałem ufności i względny wzrost.

Przykład

Sklep internetowy testuje dwie wersje strony koszyka. Wersja A to obecny układ, a wersja B ma krótszy formularz. Każdy nowy użytkownik trafia losowo do jednej wersji i widzi ją przy każdej wizycie. Metryką główną jest odsetek złożonych zamówień. Test trwa pełne dwa tygodnie, by objąć różne dni tygodnia, a decyzję podejmuje się dopiero po zebraniu zaplanowanej liczby osób. Plan, symulację i analizę krok po kroku pokazuje wpis Test A/B – plan, liczebność próby i analiza wyników.

Jak opisać w pracy

Przeprowadzono test A/B: użytkowników losowo przydzielono do wersji A (kontrolnej) lub B (skrócony formularz). Metryką główną był odsetek złożonych zamówień. Liczebność (3841 osób na wariant) wyznaczono z góry dla wykrycia wzrostu z 10% do 12% przy alfa = .05 i mocy 80%, a wyniki porównano testem dla dwóch proporcji.

Na co uważać

  • Podglądanie wyników. Zatrzymanie testu, gdy tylko p spadnie poniżej .05, zawyża błąd I rodzaju. Johari i in. (2022) pokazują, że przy ciągłym monitorowaniu zwykłe wartości p i przedziały ufności stają się zupełnie niewiarygodne. Potrzebne są wtedy metody sekwencyjne.
  • Wiele metryk i wariantów to problem wielokrotnych porównań.
  • Niepełny opis. W pracy z marketingu podaj, kogo objął test, jak długo trwał i ilu użytkowników odpadło. Liczebność sprawdzisz w kalkulatorze liczebności próby.

Najczęstsze pytania

Jak długo powinien trwać test A/B?

Tyle, ile potrzeba do zebrania liczebności wyliczonej z góry, i co najmniej pełny cykl tygodniowy, by objąć różne dni. Nie skracaj testu tylko dlatego, że wynik wygląda na istotny.

Czym test A/B różni się od testu A/B/n?

W teście A/B porównuje się dwie wersje, a w teście A/B/n – trzy lub więcej. Każde dodatkowe porównanie z wersją kontrolną zwiększa ryzyko fałszywie pozytywnego wyniku, więc trzeba zastosować poprawkę na wielokrotne porównania.

Jakim testem statystycznym analizuje się test A/B z konwersją?

Gdy metryka jest proporcją, np. odsetkiem zakupów, stosuje się test dla dwóch proporcji lub równoważny mu chi-kwadrat dla tabeli 2×2. Podaj różnicę odsetków z przedziałem ufności, a nie tylko wartość p.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Poradnik

Analiza koszykowa i rekomendacje

Wsparcie, ufność i lift na przykładzie sklepu z kawą, sieć reguł, test na nowych paragonach i rekomendacje „klienci kupili też” z kodem R.

Czytaj →
Poradnik

Statystyka w pracy z informatyki

Test użyteczności, test A/B, algorytmy na wielu zbiorach danych, ankieta akceptacji technologii i benchmarki: testy, wielkość efektu, zdania APA i kod R.

Czytaj →
Poradnik

Test A/B – plan i analiza

Metryka główna, liczebność z power.prop.test, losowanie i czas trwania, skutki podglądania wyników w symulacji oraz różnica odsetków z CI i względny wzrost.

Czytaj →
Poradnik

Kalkulator tabeli 2×2 i r×c

Chi-kwadrat, test dokładny Fishera, V Craméra i reszty dla tabel do 5 × 5, a dla 2 × 2 także OR, RR i różnica odsetków z przedziałami ufności.

Czytaj →
Poradnik

Statystyka w pracy z marketingu

Skala postaw wobec marki, NPS z przedziałem ufności, test A/B, intencja zakupu, mediacja i segmentacja: testy, zdania APA, dane XLSX i kod R.

Czytaj →
Poradnik

Lejek konwersji – etapy i test A/B

Sklep zoologiczny i nowy koszyk: odsetki od początku i warunkowe, przedziały Wilsona i Newcombe’a, liczebność i symulacja 1000 testów z kodem R.

Czytaj →
Poradnik

Pułapki testów A/B na obrazkach

Zaglądanie do p, wiele wersji i metryk, efekt nowości i SRM w symulacjach 1000 testów A/A – pięć rysunków z kodem R i lista kontrolna.

Czytaj →
Poradnik

Wielorękie bandyty a test A/B

Portal z przepisami i cztery nagłówki: test A/B, strategia epsilon-zachłanna i UCB1 w 1000 symulacjach – utracone kliknięcia, trafność i obciążone średnie.

Czytaj →
Poradnik

Test A/B z wieloma wariantami

Pięć tematów maila i kontrola: Dunnett, Holm i Tukey, klątwa zwycięzcy w 1000 symulacji, test potwierdzający i moc – pięć rysunków z kodem R.

Czytaj →
Poradnik

Test wyłączenia reklamy (holdout)

Sklep z odzieżą: przyrost sprzedaży z holdoutu, ITT i CACE, iCPA wobec CPA z panelu, duże zamówienia i wielkość holdoutu – kod R.

Czytaj →
Poradnik

Wyszukiwarka w sklepie – NDCG i przeplatanie

Sklep z narzędziami: precyzja@5, MRR i NDCG krok po kroku, obciążenie pozycji, test A/B vs przeplatanie team-draft i zapytania rzadkie – kod R.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Johari, R., Koomen, P., Pekelis, L., & Walsh, D. (2022). Always valid inference: Continuous monitoring of A/B tests. Operations Research, 70(3), 1806–1821. https://doi.org/10.1287/opre.2021.2135
  2. Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). Controlled experiments on the web: Survey and practical guide. Data Mining and Knowledge Discovery, 18(1), 140–181. https://doi.org/10.1007/s10618-008-0114-1 ● Otwarty dostęp

Cytowania BibTeX

@article{johari2022always, author={Johari, Ramesh and Koomen, Pete and Pekelis, Leonid and Walsh, David}, title={{Always valid inference: Continuous monitoring of A/B tests}}, journal={Operations Research}, year={2022}, volume={70}, number={3}, pages={1806--1821}, doi={10.1287/opre.2021.2135}}
@article{kohavi2009controlled, author={Kohavi, Ron and Longbotham, Roger and Sommerfield, Dan and Henne, Randal M.}, title={{Controlled experiments on the web: Survey and practical guide}}, journal={Data Mining and Knowledge Discovery}, year={2009}, volume={18}, number={1}, pages={140--181}, doi={10.1007/s10618-008-0114-1}}
R