Co to jest test A/B?
Test A/B (ang. A/B test, eksperyment kontrolowany online) to eksperyment, w którym użytkowników strony, aplikacji lub odbiorców kampanii losowo przydziela się do wersji A (kontrolnej) i B (zmienionej), a potem porównuje z góry wybraną metrykę, np. odsetek konwersji. Jest to najprostszy schemat eksperymentalny z dwiema grupami. Dzięki randomizacji różnicę między wersjami można przypisać samej zmianie. Kohavi i in. (2009) nazywają kontrolowane eksperymenty w sieci najlepszym sposobem ustalania związku przyczynowego między zmianą a zachowaniem użytkowników.
Z czego składa się test A/B
- Hipoteza i metryka główna ustalone przed startem, np. „nowy przycisk zwiększy odsetek zapisów”.
- Jednostka randomizacji: zwykle użytkownik, a nie odsłona, by ta sama osoba nie widziała obu wersji.
- Liczebność i czas trwania wyliczone z góry na podstawie mocy testu. Aby przy alfa = .05 i mocy 80% wykryć wzrost konwersji z 10% do 12%,
power.prop.testw R daje 3841 osób na wariant. - Analiza: test dla dwóch proporcji, różnica z przedziałem ufności i względny wzrost.
Przykład
Sklep internetowy testuje dwie wersje strony koszyka. Wersja A to obecny układ, a wersja B ma krótszy formularz. Każdy nowy użytkownik trafia losowo do jednej wersji i widzi ją przy każdej wizycie. Metryką główną jest odsetek złożonych zamówień. Test trwa pełne dwa tygodnie, by objąć różne dni tygodnia, a decyzję podejmuje się dopiero po zebraniu zaplanowanej liczby osób. Plan, symulację i analizę krok po kroku pokazuje wpis Test A/B – plan, liczebność próby i analiza wyników.
Jak opisać w pracy
Na co uważać
- Podglądanie wyników. Zatrzymanie testu, gdy tylko p spadnie poniżej .05, zawyża błąd I rodzaju. Johari i in. (2022) pokazują, że przy ciągłym monitorowaniu zwykłe wartości p i przedziały ufności stają się zupełnie niewiarygodne. Potrzebne są wtedy metody sekwencyjne.
- Wiele metryk i wariantów to problem wielokrotnych porównań.
- Niepełny opis. W pracy z marketingu podaj, kogo objął test, jak długo trwał i ilu użytkowników odpadło. Liczebność sprawdzisz w kalkulatorze liczebności próby.
Najczęstsze pytania
Jak długo powinien trwać test A/B?
Tyle, ile potrzeba do zebrania liczebności wyliczonej z góry, i co najmniej pełny cykl tygodniowy, by objąć różne dni. Nie skracaj testu tylko dlatego, że wynik wygląda na istotny.
Czym test A/B różni się od testu A/B/n?
W teście A/B porównuje się dwie wersje, a w teście A/B/n – trzy lub więcej. Każde dodatkowe porównanie z wersją kontrolną zwiększa ryzyko fałszywie pozytywnego wyniku, więc trzeba zastosować poprawkę na wielokrotne porównania.
Jakim testem statystycznym analizuje się test A/B z konwersją?
Gdy metryka jest proporcją, np. odsetkiem zakupów, stosuje się test dla dwóch proporcji lub równoważny mu chi-kwadrat dla tabeli 2×2. Podaj różnicę odsetków z przedziałem ufności, a nie tylko wartość p.
Powiązane hasła
Poradniki, w których użyjesz tego pojęcia
Analiza koszykowa i rekomendacje
Wsparcie, ufność i lift na przykładzie sklepu z kawą, sieć reguł, test na nowych paragonach i rekomendacje „klienci kupili też” z kodem R.
Czytaj →PoradnikStatystyka w pracy z informatyki
Test użyteczności, test A/B, algorytmy na wielu zbiorach danych, ankieta akceptacji technologii i benchmarki: testy, wielkość efektu, zdania APA i kod R.
Czytaj →PoradnikTest A/B – plan i analiza
Metryka główna, liczebność z power.prop.test, losowanie i czas trwania, skutki podglądania wyników w symulacji oraz różnica odsetków z CI i względny wzrost.
Czytaj →PoradnikKalkulator tabeli 2×2 i r×c
Chi-kwadrat, test dokładny Fishera, V Craméra i reszty dla tabel do 5 × 5, a dla 2 × 2 także OR, RR i różnica odsetków z przedziałami ufności.
Czytaj →PoradnikStatystyka w pracy z marketingu
Skala postaw wobec marki, NPS z przedziałem ufności, test A/B, intencja zakupu, mediacja i segmentacja: testy, zdania APA, dane XLSX i kod R.
Czytaj →PoradnikLejek konwersji – etapy i test A/B
Sklep zoologiczny i nowy koszyk: odsetki od początku i warunkowe, przedziały Wilsona i Newcombe’a, liczebność i symulacja 1000 testów z kodem R.
Czytaj →PoradnikPułapki testów A/B na obrazkach
Zaglądanie do p, wiele wersji i metryk, efekt nowości i SRM w symulacjach 1000 testów A/A – pięć rysunków z kodem R i lista kontrolna.
Czytaj →PoradnikWielorękie bandyty a test A/B
Portal z przepisami i cztery nagłówki: test A/B, strategia epsilon-zachłanna i UCB1 w 1000 symulacjach – utracone kliknięcia, trafność i obciążone średnie.
Czytaj →PoradnikTest A/B z wieloma wariantami
Pięć tematów maila i kontrola: Dunnett, Holm i Tukey, klątwa zwycięzcy w 1000 symulacji, test potwierdzający i moc – pięć rysunków z kodem R.
Czytaj →PoradnikTest wyłączenia reklamy (holdout)
Sklep z odzieżą: przyrost sprzedaży z holdoutu, ITT i CACE, iCPA wobec CPA z panelu, duże zamówienia i wielkość holdoutu – kod R.
Czytaj →PoradnikWyszukiwarka w sklepie – NDCG i przeplatanie
Sklep z narzędziami: precyzja@5, MRR i NDCG krok po kroku, obciążenie pozycji, test A/B vs przeplatanie team-draft i zapytania rzadkie – kod R.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Wyceń analizęOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- Johari, R., Koomen, P., Pekelis, L., & Walsh, D. (2022). Always valid inference: Continuous monitoring of A/B tests. Operations Research, 70(3), 1806–1821. https://doi.org/10.1287/opre.2021.2135
- Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). Controlled experiments on the web: Survey and practical guide. Data Mining and Knowledge Discovery, 18(1), 140–181. https://doi.org/10.1007/s10618-008-0114-1 ● Otwarty dostęp
Cytowania BibTeX
@article{johari2022always, author={Johari, Ramesh and Koomen, Pete and Pekelis, Leonid and Walsh, David}, title={{Always valid inference: Continuous monitoring of A/B tests}}, journal={Operations Research}, year={2022}, volume={70}, number={3}, pages={1806--1821}, doi={10.1287/opre.2021.2135}}@article{kohavi2009controlled, author={Kohavi, Ron and Longbotham, Roger and Sommerfield, Dan and Henne, Randal M.}, title={{Controlled experiments on the web: Survey and practical guide}}, journal={Data Mining and Knowledge Discovery}, year={2009}, volume={18}, number={1}, pages={140--181}, doi={10.1007/s10618-008-0114-1}}