Statystyka · Marketing

Wskaźniki ilorazowe w testach A/B – średni koszyk, CTR, metoda delta i bootstrap

Fikcyjny sklep sportowy testuje blok „Kompletuj zestaw”: losuje użytkowników, a liczy CTR z wyświetleń i średni koszyk z zamówień. Pokazujemy, dlaczego naiwny przedział jest za wąski, jak liczyć metodą delta i bootstrapem po użytkownikach, co mówi 1000 testów A/A i co zrobić ze skośnym koszykiem – sześć rysunków z kodem R, podpisy APA i zdania do pracy.

Strona główna / Blog / Wskaźniki ilorazowe w testach A/B
W skrócie: CTR (kliknięcia / wyświetlenia) i średni koszyk (przychód / zamówienia) to wskaźniki ilorazowe: w teście A/B losujesz użytkowników, a liczysz wyświetlenia i zamówienia, które u jednej osoby są do siebie podobne. Naiwny przedział, traktujący każde wyświetlenie jak niezależną próbę, jest za wąski – w przykładzie dał p = .020, a poprawna analiza p = .082. Licz błąd standardowy na poziomie użytkownika: metodą delta albo bootstrapem całych użytkowników.

Przykład: sklep sportowy i blok „Kompletuj zestaw”

Internetowy sklep ze sprzętem sportowym testuje nową kartę produktu. Wersja B ma pod zdjęciem blok „Kompletuj zestaw” z trzema dopasowanymi produktami. Przez 14 dni każdy nowy użytkownik losowo trafia do wersji A albo B i zostaje w niej przy każdej wizycie. To test A/B, w którym losujemy użytkowników.

Dział marketingu pyta o dwie liczby. CTR bloku polecanych produktów to kliknięcia podzielone przez wyświetlenia bloku. Średni koszyk to przychód podzielony przez liczbę zamówień. Obie są wskaźnikami ilorazowymi: licznik i mianownik to sumy zliczane w jednostkach mniejszych niż użytkownik.

Dane są fikcyjne i wiemy, co w nich ukryliśmy. W wersji B prawdziwy CTR wynosi 4.4% zamiast 4.0%, a prawdziwy koszyk jest o 4% wyższy. Każdy użytkownik ma własną skłonność do klikania i poziom koszyka; parametry, także 8000 użytkowników na wersję, ustawiliśmy ręcznie (szczegóły przy kodzie). Ziarno 614 ustalono raz i nie zmieniano go. Dane pobierzesz jako wskazniki-ilorazowe-uzytkownicy.csv (jeden wiersz na użytkownika) i wskazniki-ilorazowe-zamowienia.csv (jeden wiersz na zamówienie).

Podsumowanie testu A/B w sklepie sportowym
WersjaUżytkownicyWyświetleniaKliknięciaCTRZamówieniaPrzychód (zł)Średni koszyk (zł)
A800056 38323194.11%1524374 186245.53
B800055 69324474.39%1529378 228247.37

Plan testu i analizę zwykłej konwersji opisuje wpis test A/B – plan i analiza. Tu zajmujemy się jednym problemem: jak policzyć przedział ufności dla różnicy dwóch ilorazów, gdy losowaliśmy ludzi, a liczymy wyświetlenia i zamówienia.

Rysunek 1: kto jest jednostką?

Schemat. Po lewej trzech użytkowników wersji A z danych: U00002, U00005 i U06990. Strzałki prowadzą do liczby sesji (1, 3 i 28), a dalej do wyświetleń i kliknięć: 2 wyświetlenia i 0 kliknięć, 7 wyświetleń i 0 kliknięć, 64 wyświetlenia i 4 kliknięcia, CTR 6.2%. Na dole dwie ramki: źle – każde z 56 383 wyświetleń jako osobna niezależna próba; dobrze – 8000 użytkowników to 8000 obserwacji, każda z parą liczb kliknięcia i wyświetlenia
Rysunek 1. Jednostka losowania (użytkownik) i jednostki w mianowniku CTR (wyświetlenia) na przykładzie trzech użytkowników wersji A. Grafika: R, pakiet ggplot2 (dane fikcyjne, set.seed(614)).

Co widać. Losujemy użytkownika, a on sam decyduje, ile razy wróci. U00002 zobaczył blok dwa razy, U06990 – 64 razy w 28 sesjach, czyli tyle, co 32 osoby takie jak U00002. Mediana to 5 wyświetleń na osobę, maksimum 70.

Naiwna analiza liczy CTR jak odsetek z 56 383 niezależnych rzutów monetą. Tymczasem wyświetlenia jednej osoby są do siebie podobne: ktoś, kto nie lubi poleceń, nie kliknie ani razu w 64 wyświetleniach. To pseudoreplikacja – test z błędem niewłaściwym dla jednostki, którą przydzielono do warunku (Hurlbert, 1984).

Jak może zmylić. Schemat pokazuje tylko trzy osoby. Sedno nie leży w liczbie sesji, tylko w tym, że ludzie różnią się skłonnością do klikania (rysunek 2).

Podpis do pracy:

Rysunek 1. Jednostka randomizacji i jednostki analizy w teście A/B. Uwaga. Wersję strony losowano użytkownikom; wskaźnik CTR liczono jako iloraz sumy kliknięć i sumy wyświetleń bloku polecanych produktów. Przykład trzech użytkowników wersji A.

Zdanie do Metody:

Jednostką randomizacji był użytkownik (identyfikator konta), któremu przy każdej wizycie wyświetlano tę samą wersję strony. Błędy standardowe wskaźników ilorazowych (CTR, średnia wartość zamówienia) obliczono na poziomie użytkownika.

Rysunek 2: ludzie różnią się bardziej niż rzut monetą

Dwa panele. A: udział dziesięciu decyli użytkowników w wyświetleniach rośnie od 1.6% w najmniej aktywnym decylu do 18.0% w dziewiątym i 32.6% w najbardziej aktywnym; linia przerywana na 10%. B: rozkład CTR 3701 użytkowników z co najmniej 10 wyświetleniami. W danych 63.0% nie kliknęło ani razu, a 3.6% ma CTR ponad 20%. Gdyby wszyscy mieli ten sam CTR 4.25%, bez kliknięcia byłoby 51.4%, a ponad 20% – 0.9%; więcej osób trafiłoby do przedziału 5–10% (29.5% zamiast 18.3%)
Rysunek 2. Udział decyli użytkowników w wyświetleniach (A) i rozkład CTR użytkowników z co najmniej 10 wyświetleniami w danych oraz w symulacji ze wspólnym CTR (B). Obliczenia: R, pakiety ggplot2 i patchwork (dane fikcyjne, set.seed(614)).

Co widać. Panel A: 10% najbardziej aktywnych użytkowników daje 32.6% wyświetleń, czyli jedną trzecią mianownika CTR. Panel B porównuje dane ze światem, w którym każdy ma CTR 4.25%. W danych więcej osób nie klika wcale (63.0% wobec 51.4%) i więcej klika często (3.6% wobec 0.9% powyżej 20%). Odchylenie standardowe CTR użytkowników wynosi 7.12 pp zamiast 5.25 pp.

Jak może zmylić. Skoro część kliknięć pochodzi od tych samych „klikaczy”, 56 383 wyświetlenia niosą mniej informacji niż tyle samo niezależnych prób. O ile mniej, mówi efekt schematu – w tym teście 1.79 dla CTR (rysunek 3). Średni koszyk ma ten problem w mniejszej skali: 38.3% zamówień złożyli klienci z co najmniej dwoma zamówieniami.

Podpis do pracy:

Rysunek 2. Zróżnicowanie aktywności i skłonności do klikania użytkowników. Uwaga. Panel A – udział decyli użytkowników (według liczby wyświetleń) w łącznej liczbie wyświetleń; panel B – rozkład CTR użytkowników z co najmniej 10 wyświetleniami (n = 3701) w danych i w symulacji, w której wszyscy mają ten sam CTR równy ogólnemu (4.25%).

Zdanie do Wyników:

Aktywność użytkowników była silnie zróżnicowana: 10% najbardziej aktywnych odpowiadało za 32.6% wyświetleń, a rozrzut indywidualnych CTR był większy, niż wynikałoby z rozkładu dwumianowego przy wspólnym CTR (SD = 7.12 wobec 5.25 pp).

Rysunek 3: ta sama różnica, trzy przedziały

Iloraz sum to to samo co iloraz średnich na użytkownika: CTR = (średnia liczba kliknięć na osobę) / (średnia liczba wyświetleń na osobę). Każdy użytkownik wnosi parę liczb – y (kliknięcia albo przychód) i x (wyświetlenia albo zamówienia) – i to te pary są niezależne. Metoda delta przybliża wariancję funkcji średnich (Oehlert, 1992). Dla ilorazu R = ȳ / x̄ daje:

SE²(R) ≈ [Var(y) − 2R·Cov(y, x) + R²·Var(x)] / (n · x̄²)

gdzie n to liczba użytkowników. Słowami: liczy się rozrzut liczników, rozrzut mianowników i to, jak bardzo idą w parze (kowariancja). Deng i in. (2018) na przykładach z dużych testów A/B pokazują, jak metodą delta radzić sobie z metrykami, których poziom agregacji utrudnia wnioskowanie. Drugi sposób to bootstrap po użytkownikach: losujemy ze zwracaniem całych ludzi, z ich wszystkimi wyświetleniami i zamówieniami, 2000 razy.

Dwa panele z przedziałami 95% dla różnicy B minus A. Różnica CTR 0.28 punktu procentowego: przedział naiwny od 0.04 do 0.52 nie obejmuje zera, przedział z metody delta od −0.04 do 0.60 i z bootstrapu po użytkownikach od −0.05 do 0.61 obejmują zero. Różnica średniego koszyka 1.84 zł: naiwny od −12.21 do 15.89, delta od −13.76 do 17.44, bootstrap od −13.81 do 18.88 zł; wszystkie obejmują zero
Rysunek 3. Różnica CTR i średniego koszyka między wersjami z 95% przedziałami ufności: naiwnym, z metody delta i z bootstrapu po użytkownikach. Obliczenia: R, pakiet ggplot2 (dane fikcyjne, set.seed(614), 2000 prób bootstrapowych).

Co widać. CTR wzrósł o 0.28 pp. Naiwny przedział dla proporcji wynosi [0.04, 0.52], a p = .020 – „wygrana B”. Metoda delta daje błąd standardowy 0.161 zamiast 0.121, przedział [−0.04, 0.60] i p = .082. Bootstrap: SE = 0.161, [−0.05, 0.61]. Naiwny SE jest 1.34 raza za mały, a kwadrat tej liczby (1.79) to efekt schematu. Dla koszyka różnica wynosi 1.84 zł, a naiwny SE jest za mały 1.11 raza.

Jak może zmylić. Prawdziwy efekt w danych istnieje (+0.4 pp), więc wynik znaczy: ten test nie rozstrzyga, a nie „brak efektu”. Naiwny wynik był istotny, bo przeszacował precyzję, a nie dlatego, że trafniej wykrył efekt. Prawdziwego wzrostu koszyka o 4% (ok. 10 zł) ten test nie wykryje żadną metodą – przedział ma ok. 31 zł szerokości.

Podpis do pracy:

Rysunek 3. Różnica wskaźnika klikalności (CTR) i średniej wartości zamówienia między wersją B a A z 95% przedziałami ufności. Uwaga. Przedział naiwny traktuje wyświetlenia i zamówienia jako niezależne obserwacje; metoda delta i bootstrap (2000 prób) liczą niepewność na poziomie użytkownika. N = 8000 użytkowników w każdej wersji.

Zdanie do Wyników:

CTR bloku polecanych produktów wyniósł 4.39% w wersji B i 4.11% w wersji A (różnica 0.28 pp, 95% CI [−0.04, 0.60], p = .082; błąd standardowy z metody delta na poziomie użytkownika). Średnia wartość zamówienia nie różniła się istotnie (247.37 wobec 245.53 zł; różnica 1.84 zł, 95% CI [−13.76, 17.44], p = .817).

Rysunek 4: bootstrap po użytkownikach

Dwa histogramy 2000 bootstrapowych różnic B minus A z nałożonymi krzywymi normalnymi. Różnica CTR: histogram od około −0.2 do 0.8 pp, krzywa metody delta pokrywa się z histogramem, krzywa naiwna jest wyższa i węższa; 4.55% prób poniżej zera. Różnica koszyka: histogram od około −25 do 30 zł, obie krzywe bliskie, naiwna trochę węższa; 40.4% prób poniżej zera
Rysunek 4. Rozkład 2000 bootstrapowych różnic CTR i średniego koszyka (losowanie użytkowników) na tle rozkładów normalnych z błędem standardowym z metody delta i z wzoru naiwnego. Obliczenia: R, pakiet ggplot2 (dane fikcyjne, set.seed(614)).

Co widać. Słupki to 2000 powtórzeń testu „na niby” z losowanymi ze zwracaniem użytkownikami. Krzywa metody delta leży na słupkach, a naiwna jest dla CTR wyraźnie za wąska i za wysoka. Rozkład jest prawie symetryczny (skośność −0.04 i 0.08), więc przybliżenie normalne działa. Efron (1979) pokazał bootstrap m.in. dla estymacji ilorazowej. Mechanikę losowania pokazuje wpis bootstrap – wizualizacja na obrazkach.

Jak może zmylić. Bootstrap jest poprawny tylko wtedy, gdy losujesz to, co było losowane. Losowanie pojedynczych wyświetleń odtworzyłoby błąd naiwny. Field i Welsh (2007) pokazują, że bootstrap całych klastrów daje zgodne oszacowania wariancji w obu rozważanych przez nich modelach danych pogrupowanych. Tu klastrem jest użytkownik.

Podpis do pracy:

Rysunek 4. Rozkład bootstrapowy różnicy CTR (w punktach procentowych) i różnicy średniej wartości zamówienia (w zł) między wersjami. Uwaga. 2000 prób bootstrapowych; w każdej losowano ze zwracaniem użytkowników osobno w każdej wersji. Linia ciągła – rozkład normalny z błędem standardowym z metody delta; linia przerywana – z błędem naiwnym.

Zdanie do Metody:

Jako analizę wrażliwości obliczono percentylowe przedziały bootstrapowe (2000 prób), losując ze zwracaniem użytkowników wraz ze wszystkimi ich wyświetleniami i zamówieniami; wyniki były zgodne z metodą delta.

Rysunek 5: 1000 testów A/A

Jeden test nie oceni metody. Powtarzamy go więc 1000 razy jako test A/A: obie wersje są identyczne (CTR 4%, ten sam koszyk), a dobry 95% przedział powinien objąć zero w ok. 95% testów. Kohavi i in. (2020) podkreślają rolę testów wiarygodności, które ostrzegają o naruszonych założeniach; symulacja A/A jest takim sprawdzianem dla metody.

Wykres punktowy pokrycia przedziałów 95% w 1000 testach A/A z odcinkami błędu Monte Carlo i szarym pasem wokół 95%. CTR: naiwny 84.4%, metoda delta 93.9%, bootstrap po użytkownikach 92.4%. Średni koszyk: naiwny 93.6%, metoda delta 96.3%, bootstrap 95.4%
Rysunek 5. Odsetek 95% przedziałów obejmujących prawdziwą różnicę (zero) w 1000 symulowanych testach A/A po 8000 użytkowników w wersji; odcinki – 95% przedziały błędu Monte Carlo. Obliczenia: R, pakiet ggplot2 (dane symulowane, set.seed(614)).

Co widać. Dla CTR naiwny przedział objął zero w 84.4% testów, czyli fałszywy alarm pojawił się w 15.6% testów zamiast 5% (błąd Monte Carlo 1.1 pp). Metoda delta – 93.9%, bootstrap – 92.4% (błąd MC 0.8 pp). Dla koszyka naiwny przedział jest za wąski w mniejszym stopniu (93.6%), a delta i bootstrap mieszczą się w oczekiwanym rozrzucie (96.3% i 95.4%).

Jak może zmylić. Delta i bootstrap dla CTR są nieco poniżej 95%. Mianownik jest bardzo nierówny, a przybliżenie normalne działa w dużych próbach. Bootstrap miał tu tylko 200 prób na test, co zaniża pokrycie przedziału percentylowego; w pojedynczej analizie użyj co najmniej 2000. Wynik dotyczy jednego schematu danych; przy większych różnicach między klientami naiwny przedział zawodzi mocniej.

Podpis do pracy:

Rysunek 5. Pokrycie 95% przedziałów ufności dla różnicy CTR i średniej wartości zamówienia w 1000 symulowanych testach A/A. Uwaga. 8000 użytkowników na wersję, prawdziwa różnica równa zero. Odcinki – 95% przedziały błędu Monte Carlo; szary pas – zakres oczekiwany przy pokryciu 95%. Bootstrap: 200 prób na test.

Zdanie do Metody:

Trafność metody sprawdzono w 1000 symulowanych testach A/A o tej samej strukturze danych: przedziały z metody delta objęły zerową różnicę CTR w 93.9% testów, a przedziały naiwne, traktujące wyświetlenia jako niezależne, w 84.4%.

Rysunek 6: skośny koszyk – średnia, mediana, przycinanie

Panel A: histogram wartości 3053 zamówień, prawostronnie skośny, większość między 50 a 400 zł, ogon do 1792 zł; pionowe linie: mediana 192.33 zł, średnia ucinana 5% 223.44 zł, średnia po przycięciu 243.98 zł i średnia 246.45 zł. Panel B: różnice B minus A z 95% przedziałami z bootstrapu po użytkownikach: średnia 1.84 zł od −12.65 do 17.88, mediana −1.45 od −13.86 do 13.65, średnia ucinana −0.84 od −13.61 do 12.93, średnia po przycięciu 1.37 od −12.42 do 16.35
Rysunek 6. Rozkład wartości zamówienia z czterema miarami położenia (A) i różnice między wersjami dla każdej miary z 95% przedziałami z bootstrapu po użytkownikach (B). Obliczenia: R, pakiety ggplot2 i patchwork (dane fikcyjne, set.seed(614), 1000 prób).

Co widać. Wartość zamówienia ma długi prawy ogon (skośność 2.48, maksimum 1792.40 zł). Średnia (246.45 zł) leży wyraźnie nad medianą (192.33 zł). Średnia ucinana 5% i mediana zmniejszają błąd standardowy różnicy z 8.02 do 7.09 i 7.15 zł. Przycięcie 31 zamówień do 99. centyla (1033.48 zł) – z 8.02 do 7.58 zł.

Jak może zmylić. Każda z tych miar odpowiada na inne pytanie. Przychód zależy od średniej, więc mediana koszyka nie powie, ile zarobisz. Przycięcie zmienia średnią najmniej, ale próg ustal przed testem, wspólny dla obu wersji. Także tu losujemy użytkowników, nie zamówienia.

Podpis do pracy:

Rysunek 6. Rozkład wartości zamówienia (A) i różnice między wersjami dla czterech miar położenia (B). Uwaga. N = 3053 zamówienia. Średnia po przycięciu – wartości powyżej 99. centyla (1033.48 zł, wspólny próg dla obu wersji) zastąpiono progiem. Przedziały 95% z bootstrapu (1000 prób, losowanie użytkowników).

Zdanie do Metody:

Główną miarą była średnia wartość zamówienia; ze względu na prawostronną skośność rozkładu (2.48) w analizie wrażliwości wartości powyżej 99. centyla (1033.48 zł) zastąpiono progiem ustalonym przed analizą, a wnioski nie uległy zmianie.

Co z tym zrobić w marketingu

  • Nie ogłaszaj zwycięzcy na podstawie naiwnego p. Test nie rozstrzyga o CTR. Powtórz go z planem liczebności, bez codziennego zaglądania do wyniku (pułapki testów A/B).
  • Ustal metryki i ich poziom przed startem. Kohavi i in. (2020) traktują zdefiniowanie kluczowych metryk jako osobny krok eksperymentu. Zapisz, czy CTR liczysz jako iloraz sum, czy jako średnią z CTR użytkowników – to dwa różne pytania (w drugim każdy klient waży tyle samo).
  • Dołóż metrykę na użytkownika. Przychód na użytkownika łączy konwersję i koszyk, nie jest ilorazem i liczy się zwykłym testem t. Średni koszyk opisuje tylko kupujących, a ich skład może zmienić sama wersja.
  • Policz moc dla koszyka. Kohavi i in. (2009) wymieniają moc, liczebność i redukcję wariancji jako składniki eksperymentu. Wariancję zmniejsza CUPED: dane sprzed testu jako kowariant.
  • Lejek. Odsetki etapów lejka też bywają ilorazami – zob. lejek konwersji.

Jak opisać w pracy

W Metodzie podaj jednostkę randomizacji, licznik i mianownik wskaźników oraz metodę błędu standardowego. Metoda delta dla ilorazu to ten sam pomysł, co błędy standardowe odporne na klastrowanie: domyślne błędy przy danych pogrupowanych mogą znacznie zawyżać precyzję (Cameron i Miller, 2015). Losowanie całych sklepów czy miast to już randomizacja klastrowa. Inne projekty marketingowe do pracy dyplomowej zbiera wpis statystyka w pracy z marketingu.

Metoda. W 14-dniowym teście A/B 16 000 użytkowników sklepu internetowego losowo przydzielono (1:1) do obecnej karty produktu (A) albo karty z blokiem polecanych produktów (B). Wskaźnikami były CTR bloku (suma kliknięć / suma wyświetleń) i średnia wartość zamówienia (suma przychodu / liczba zamówień). Ponieważ jednostką randomizacji był użytkownik, a wskaźniki są ilorazami sum, błędy standardowe różnic obliczono metodą delta na poziomie użytkownika (Deng i in., 2018), a w analizie wrażliwości – z bootstrapu użytkowników (2000 prób, przedziały percentylowe). Przyjęto α = .05. Obliczenia wykonano w R 4.5.3.
Wyniki testu A/B dla dwóch wskaźników ilorazowych
WskaźnikABRóżnica B − ASE (delta)95% CIp
CTR (%)4.114.390.280.16[−0.04, 0.60].082
Średni koszyk (zł)245.53247.371.847.96[−13.76, 17.44].817
Tabela 1. Wskaźniki ilorazowe w wersjach A i B testu. Uwaga. N = 8000 użytkowników w każdej wersji. SE – błąd standardowy różnicy z metody delta na poziomie użytkownika.
Przykład reprodukowalny

Kod R wszystkich rysunków

Kod odtwarza wszystkie liczby z tekstu i sześć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy dane, paletę i motyw, a przepis 4 – funkcje metody delta i wzorów naiwnych używane w przepisach 6 i 7. Przepisy 2–7 kończą się nazwą wykresu (p1–p6), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów p1–p6, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne.

Każdy blok, który losuje (przepisy 1, 3, 4, 6 i 7), zaczyna losowanie od własnego set.seed(614); skopiowany osobno (z przepisem 1, a przepisy 5 i 6 także z 4) da te same liczby co na stronie. Ziarno 614 ustalono raz i nie zmieniano go. Ręcznie ustalono parametry danych w przepisie 1: liczbę sesji 1 + rozkład ujemny dwumianowy (średnio 1.8, size = 0.7), średnio 1.5 dodatkowego wyświetlenia na sesję, CTR użytkownika z rozkładu beta (średnio 4.0% w A i 4.4% w B, koncentracja 15), szansę zamówienia w sesji z rozkładu beta (średnio 7%), wartość zamówienia lognormalną (mediana 190 zł, odchylenie poziomu klienta 0.45 i zamówienia 0.55 na skali log) i wzrost koszyka w B o 4%. Liczbę użytkowników podnieśliśmy po pierwszym uruchomieniu z 3000 do 8000 na wersję (przy 3000 żadna metoda nie dawała wyniku istotnego, a przykład miał pokazać, jak naiwny przedział tworzy „wygraną”); ziarna i pozostałych parametrów nie zmieniano. Ręcznie ustalono też: 2000 prób bootstrapowych (przepis 4), 1000 testów A/A z 200 próbami bootstrapu w każdym (przepis 6), 1000 prób, 5% ucięcia i próg 99. centyla (przepis 7). Przepis 1 zapisuje oba pliki CSV w katalogu roboczym. Przepis 6 liczy się ok. 40 sekund, reszta – kilka sekund.

1. Dane i podsumowanie testu

Dane wejściowe: nic – 8000 użytkowników w każdej wersji losuje funkcja generuj(). Na początku – paleta Okabe–Ito (kol_wariant, kol_metoda), kształty i motyw motyw.

Co odczytać: liczby użytkowników, sesji, wyświetleń, kliknięć, CTR, zamówień, przychodu i średniego koszyka w każdej wersji; medianę i maksimum wyświetleń na osobę, udział 10% najaktywniejszych w wyświetleniach, odsetek kupujących i udział zamówień od klientów z co najmniej dwoma zamówieniami.

R
# Przepis 1. Fikcyjny test A/B w sklepie sportowym: dane na poziomie użytkownika i zamówienia
library(ggplot2)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw
kol_wariant <- c("A (obecna strona)" = "#56B4E9", "B (blok „Kompletuj zestaw”)" = "#D55E00")
kol_metoda <- c("naiwny" = "#E69F00", "metoda delta" = "#0072B2", "bootstrap po użytkownikach" = "#009E73")
ksztalt_metoda <- c("naiwny" = 17, "metoda delta" = 16, "bootstrap po użytkownikach" = 15)
motyw <- theme_minimal(base_size = 14) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        strip.text = element_text(face = "bold", colour = "#0f1d3a"), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))
os_minus <- function(x) sub("^-", "\u2212", as.character(x))   # liczby ujemne ze znakiem minus (U+2212) na osiach

# Generator danych. Parametry ustalono ręcznie, tak by przypominały typowy sklep internetowy:
# liczba sesji z rozkładu ujemnego dwumianowego (kilku bardzo aktywnych klientów), ok. 2.5 wyświetlenia
# bloku polecanych produktów na sesję, własny CTR każdego użytkownika (rozkład beta, średnio 4%),
# szansa zamówienia w sesji ok. 7% i skośna (lognormalna) wartość zamówienia z poziomem klienta.
generuj <- function(n, ctr = 0.04, mnoznik_koszyka = 1) {
  sesje <- 1 + rnbinom(n, mu = 1.8, size = 0.7)
  wyswietlenia <- sesje + rpois(n, 1.5 * sesje)
  p_klik <- rbeta(n, 15 * ctr, 15 * (1 - ctr))          # CTR użytkownika
  klikniecia <- rbinom(n, wyswietlenia, p_klik)
  zamowienia <- rbinom(n, sesje, rbeta(n, 0.56, 7.44))   # szansa zamówienia w sesji, średnio 7%
  poziom <- rnorm(n, 0, 0.45)                           # poziom koszyka klienta (log)
  uzytk <- rep(seq_len(n), zamowienia)
  wartosc <- round(mnoznik_koszyka * exp(log(190) + poziom[uzytk] + rnorm(length(uzytk), 0, 0.55)), 2)
  przychod <- as.numeric(rowsum(c(wartosc, numeric(n)), c(uzytk, seq_len(n)))[, 1])
  list(uzytkownicy = data.frame(sesje, wyswietlenia, klikniecia, zamowienia, przychod_zl = przychod),
       zamowienia = data.frame(uzytkownik = uzytk, wartosc_zl = wartosc))
}

# Test: 14 dni, 8000 użytkowników w każdej wersji. W wersji B prawdziwy CTR to 4.4% zamiast 4.0%,
# a koszyk jest o 4% wyższy – te efekty wpisaliśmy ręcznie, żeby było co wykrywać.
set.seed(614)                                     # ziarno ustalone raz, bez dobierania pod wynik
gA <- generuj(8000, ctr = 0.040, mnoznik_koszyka = 1.00)
gB <- generuj(8000, ctr = 0.044, mnoznik_koszyka = 1.04)
warianty <- names(kol_wariant)
uz <- rbind(cbind(wariant = warianty[1], gA$uzytkownicy), cbind(wariant = warianty[2], gB$uzytkownicy))
uz <- cbind(id = sprintf("U%05d", seq_len(nrow(uz))), uz)
zam <- rbind(data.frame(wariant = warianty[1], id = sprintf("U%05d", gA$zamowienia$uzytkownik), wartosc_zl = gA$zamowienia$wartosc_zl),
             data.frame(wariant = warianty[2], id = sprintf("U%05d", 8000 + gB$zamowienia$uzytkownik), wartosc_zl = gB$zamowienia$wartosc_zl))
write.csv(transform(uz, wariant = substr(wariant, 1, 1)), "wskazniki-ilorazowe-uzytkownicy.csv", row.names = FALSE)
write.csv(transform(zam, wariant = substr(wariant, 1, 1)), "wskazniki-ilorazowe-zamowienia.csv", row.names = FALSE)

# Podsumowanie testu: CTR i średni koszyk to ilorazy dwóch sum
podsum <- do.call(rbind, lapply(split(uz, uz$wariant), function(d) data.frame(
  uzytkownicy = nrow(d), sesje = sum(d$sesje), wyswietlenia = sum(d$wyswietlenia), klikniecia = sum(d$klikniecia),
  CTR_proc = round(100 * sum(d$klikniecia) / sum(d$wyswietlenia), 2), zamowienia = sum(d$zamowienia),
  przychod_zl = round(sum(d$przychod_zl)), sredni_koszyk_zl = round(sum(d$przychod_zl) / sum(d$zamowienia), 2))))
podsum[warianty, ]

# Jak nierówno użytkownicy dokładają się do mianownika CTR?
w <- sort(uz$wyswietlenia, decreasing = TRUE)
c(mediana_wyswietlen = median(uz$wyswietlenia), maks = max(uz$wyswietlenia),
  udzial_top10_proc = round(100 * sum(w[1:1600]) / sum(w), 1),
  uzytk_z_zamowieniem_proc = round(100 * mean(uz$zamowienia > 0), 1),
  zamowien_od_klientow_z_2plus_proc = round(100 * sum(uz$zamowienia[uz$zamowienia >= 2]) / sum(uz$zamowienia), 1))
Wynik w R
                            uzytkownicy sesje wyswietlenia klikniecia CTR_proc
A (obecna strona)                  8000 22485        56383       2319     4.11
B (blok „Kompletuj zestaw”)        8000 22229        55693       2447     4.39
                            zamowienia przychod_zl sredni_koszyk_zl
A (obecna strona)                 1524      374186           245.53
B (blok „Kompletuj zestaw”)       1529      378228           247.37
               mediana_wyswietlen                              maks 
                              5.0                              70.0 
                udzial_top10_proc          uzytk_z_zamowieniem_proc 
                             32.6                              14.7 
zamowien_od_klientow_z_2plus_proc 
                             38.3

2. Schemat jednostek: Rysunek 1

Dane wejściowe: uz, warianty, kol_wariant i motyw z przepisu 1.

Co odczytać: trzech użytkowników pokazanych na schemacie (sesje, wyświetlenia, kliknięcia).

R
# Rysunek 1. Grafika: użytkownik → sesje → wyświetlenia i kliknięcia (kto jest jednostką?)
# (korzysta z uz, warianty, kol_wariant i motyw z przepisu 1)
library(ggplot2)

# Trzech prawdziwych użytkowników wersji A z danych: jedna sesja, trzy sesje i najwięcej wyświetleń
A <- uz[uz$wariant == warianty[1], ]
trzej <- rbind(A[which(A$sesje == 1)[1], ], A[which(A$sesje == 3)[1], ], A[which.max(A$wyswietlenia), ])
print(trzej[c("id", "sesje", "wyswietlenia", "klikniecia", "zamowienia", "przychod_zl")], row.names = FALSE)
odm <- function(n, a, b, c) ifelse(n == 1, a, ifelse(n %% 10 %in% 2:4 & !(n %% 100 %in% 12:14), b, c))
trzej$y <- c(5.6, 4.1, 2.6)
trzej$t_sesje <- paste(trzej$sesje, odm(trzej$sesje, "sesja", "sesje", "sesji"))
trzej$t_licz <- sprintf("%d %s · %d %s", trzej$wyswietlenia, odm(trzej$wyswietlenia, "wyświetlenie", "wyświetlenia", "wyświetleń"),
                        trzej$klikniecia, odm(trzej$klikniecia, "kliknięcie", "kliknięcia", "kliknięć"))
trzej$t_ctr <- sprintf("jego CTR: %.1f%%", 100 * trzej$klikniecia / trzej$wyswietlenia)
n_wysw <- format(sum(A$wyswietlenia), big.mark = " "); n_uz <- format(nrow(A), big.mark = " ")

ramka <- function(x0, x1, y0, y1, wyp = "white", obw = "grey60")
  annotate("rect", xmin = x0, xmax = x1, ymin = y0, ymax = y1, fill = wyp, colour = obw, linewidth = 0.5)
strzalka <- function(x0, x1, y0, y1 = y0, kol = "grey40")
  annotate("segment", x = x0, xend = x1, y = y0, yend = y1, colour = kol, linewidth = 0.6,
           arrow = arrow(length = unit(0.12, "inches"), type = "closed"))
p1 <- ggplot() +
  annotate("text", x = 0.2, y = 6.55, label = "LOSUJEMY: użytkownika (zawsze ta sama wersja)", hjust = 0,
           fontface = "bold", size = 4.3, colour = "#0f1d3a") +
  annotate("text", x = 6.55, y = 6.55, label = "LICZYMY: kliknięcia / wyświetlenia", hjust = 0,
           fontface = "bold", size = 4.3, colour = "#0f1d3a") +
  lapply(trzej$y, function(y) ramka(0.2, 2.4, y - 0.5, y + 0.5, wyp = kol_wariant[1], obw = NA)) +
  annotate("text", x = 1.3, y = trzej$y + 0.15, label = paste("Użytkownik", trzej$id), size = 4, fontface = "bold") +
  annotate("text", x = 1.3, y = trzej$y - 0.22, label = "wersja A", size = 3.7) +
  lapply(trzej$y, function(y) strzalka(2.45, 3.15, y)) +
  lapply(trzej$y, function(y) ramka(3.2, 5.1, y - 0.5, y + 0.5)) +
  annotate("text", x = 4.15, y = trzej$y, label = trzej$t_sesje, size = 4) +
  lapply(trzej$y, function(y) strzalka(5.15, 6.45, y)) +
  lapply(trzej$y, function(y) ramka(6.5, 9.8, y - 0.5, y + 0.5)) +
  annotate("text", x = 8.15, y = trzej$y + 0.17, label = trzej$t_licz, size = 3.9) +
  annotate("text", x = 8.15, y = trzej$y - 0.2, label = trzej$t_ctr, size = 3.7, colour = "grey30") +
  ramka(0.2, 4.9, 0.15, 1.75, wyp = "#FBE9DD", obw = "#D55E00") +
  annotate("text", x = 0.4, y = 1.38, label = "Źle (naiwnie)", hjust = 0, fontface = "bold", size = 4.1, colour = "#8A3B00") +
  annotate("text", x = 0.4, y = 0.75, hjust = 0, size = 3.7, lineheight = 0.95,
           label = sprintf("każde z %s wyświetleń jako osobna,\nniezależna próba – przedział za wąski", n_wysw)) +
  ramka(5.1, 9.8, 0.15, 1.75, wyp = "#DCEBF5", obw = "#0072B2") +
  annotate("text", x = 5.3, y = 1.38, label = "Dobrze", hjust = 0, fontface = "bold", size = 4.1, colour = "#00466E") +
  annotate("text", x = 5.3, y = 0.75, hjust = 0, size = 3.7, lineheight = 0.95,
           label = sprintf("%s użytkowników = %s obserwacji;\nkażdy wnosi parę (kliknięcia, wyświetlenia)", n_uz, n_uz)) +
  coord_cartesian(xlim = c(0, 10), ylim = c(0, 6.9), expand = FALSE) +
  labs(title = "Jednostka losowania ≠ jednostka w mianowniku wskaźnika",
       subtitle = "Trzech użytkowników wersji A z danych przykładu") +
  motyw + theme(axis.text = element_blank(), axis.title = element_blank(),
                panel.grid.major = element_blank(), panel.grid.minor = element_blank())
p1   # ggsave("wskazniki-ilorazowe-schemat-jednostek.svg", p1, width = 10, height = 6.2)
Wynik w R
     id sesje wyswietlenia klikniecia zamowienia przychod_zl
 U00002     1            2          0          0           0
 U00005     3            7          0          0           0
 U06990    28           64          4          0           0

3. Aktywność i CTR użytkowników: Rysunek 2

Dane wejściowe: uz i motyw z przepisu 1; świat ze wspólnym CTR losuje kod.

Co odczytać: udział decyli w wyświetleniach; liczbę użytkowników z co najmniej 10 wyświetleniami i ogólny CTR; odsetki użytkowników w przedziałach CTR i SD indywidualnych CTR w danych i w świecie bez różnic.

R
# Rysunek 2. Użytkownicy różnią się bardziej, niż wynikałoby z przypadku – i nierówno ważą w mianowniku
# (korzysta z uz i motyw z przepisu 1)
library(ggplot2)
library(patchwork)

# A. Udział decyli użytkowników (od najmniej do najbardziej aktywnych) w wyświetleniach
uz_sort <- uz[order(uz$wyswietlenia), ]
uz_sort$decyl <- ceiling(10 * seq_len(nrow(uz_sort)) / nrow(uz_sort))
decyle <- aggregate(cbind(wyswietlenia, klikniecia) ~ decyl, uz_sort, sum)
decyle$udzial_proc <- 100 * decyle$wyswietlenia / sum(decyle$wyswietlenia)
print(round(decyle, 1), row.names = FALSE)

# B. CTR użytkowników z co najmniej 10 wyświetleniami a CTR, gdyby wszyscy mieli ten sam (ogólny) CTR
akt <- uz[uz$wyswietlenia >= 10, ]
ctr_ogolny <- sum(uz$klikniecia) / sum(uz$wyswietlenia)
etykieta <- sprintf("Gdyby wszyscy mieli CTR %.2f%%", 100 * ctr_ogolny)
set.seed(614)
klik_wspolny <- rbinom(nrow(akt), akt$wyswietlenia, ctr_ogolny)    # świat bez różnic między użytkownikami
porownanie <- rbind(data.frame(swiat = "Dane: każdy ma własny CTR", ctr = 100 * akt$klikniecia / akt$wyswietlenia),
                    data.frame(swiat = etykieta, ctr = 100 * klik_wspolny / akt$wyswietlenia))
c(uzytkownicy_10plus = nrow(akt), CTR_ogolny_proc = round(100 * ctr_ogolny, 2))
porownanie$przedzial <- cut(porownanie$ctr, c(-Inf, 0, 5, 10, 20, Inf),
                            labels = c("0%", "do 5%", "5–10%", "10–20%", "ponad 20%"))
rozklad <- as.data.frame(prop.table(table(porownanie$swiat, porownanie$przedzial), 1) * 100)
names(rozklad) <- c("swiat", "przedzial", "proc")
print(reshape(rozklad, idvar = "przedzial", timevar = "swiat", direction = "wide"), digits = 3, row.names = FALSE)
aggregate(ctr ~ swiat, porownanie, function(v) round(sd(v), 2))

pA <- ggplot(decyle, aes(factor(decyl), udzial_proc)) +
  geom_col(fill = "#0072B2", width = 0.75) +
  geom_hline(yintercept = 10, linetype = "dashed", colour = "grey40") +
  geom_text(aes(label = sprintf("%.1f", udzial_proc)), vjust = -0.4, size = 3.6) +
  scale_y_continuous(expand = expansion(mult = c(0, 0.12))) +
  labs(title = "A. Kto wypełnia mianownik?", subtitle = "Linia: udział równy (10%)",
       x = "Decyl użytkowników wg liczby wyświetleń", y = "Udział w wyświetleniach (%)") + motyw
rozklad$swiat <- factor(rozklad$swiat, c("Dane: każdy ma własny CTR", etykieta))
pB <- ggplot(rozklad, aes(przedzial, proc, fill = swiat)) +
  geom_col(position = position_dodge(width = 0.8), width = 0.75) +
  geom_text(aes(label = sprintf("%.1f", proc)), position = position_dodge(width = 0.8), vjust = -0.4, size = 3.3) +
  scale_fill_manual(values = setNames(c("#D55E00", "#56B4E9"), levels(rozklad$swiat)), name = NULL) +
  scale_y_continuous(expand = expansion(mult = c(0, 0.12))) +
  guides(fill = guide_legend(ncol = 1)) +
  labs(title = "B. CTR użytkowników (≥ 10 wyświetleń)", subtitle = "Dane a świat bez różnic między ludźmi",
       x = "CTR użytkownika", y = "Odsetek użytkowników (%)") + motyw
p2 <- pA + pB
p2   # ggsave("wskazniki-ilorazowe-uzytkownicy.svg", p2, width = 10, height = 5.4)
Wynik w R
 decyl wyswietlenia klikniecia udzial_proc
     1         1785         75         1.6
     2         3200        129         2.9
     3         4223        176         3.8
     4         5284        230         4.7
     5         6803        304         6.1
     6         8616        347         7.7
     7        11012        478         9.8
     8        14421        628        12.9
     9        20225        835        18.0
    10        36507       1564        32.6
uzytkownicy_10plus    CTR_ogolny_proc 
           3701.00               4.25 
 przedzial proc.Dane: każdy ma własny CTR proc.Gdyby wszyscy mieli CTR 4.25%
        0%                          63.04                             51.419
     do 5%                           5.16                              9.349
     5–10%                          18.32                             29.533
    10–20%                           9.84                              8.835
 ponad 20%                           3.65                              0.865
                          swiat  ctr
1     Dane: każdy ma własny CTR 7.12
2 Gdyby wszyscy mieli CTR 4.25% 5.25

4. Przedział naiwny, metoda delta i bootstrap: Rysunek 3

Dane wejściowe: uz, zam i paleta z przepisu 1. Definiuje funkcje iloraz_delta(), ctr_naiwny(), koszyk_naiwny() i roznica(), z których korzystają przepisy 6 i 7.

Co odczytać: różnicę B − A, SE, granice 95% CI i p dla trzech metod i dwóch wskaźników; iloraz SE delta / naiwny i jego kwadrat (efekt schematu).

R
# Rysunek 3. Trzy przedziały ufności dla tej samej różnicy: naiwny, metoda delta, bootstrap po użytkownikach
# (korzysta z uz, zam, warianty, kol_metoda, ksztalt_metoda i motyw z przepisu 1)
library(ggplot2)

# Iloraz sum R = suma(y) / suma(x) = średnia(y) / średnia(x), gdzie y i x to sumy jednego użytkownika
# (kliknięcia i wyświetlenia albo przychód i zamówienia). Metoda delta: SE z wariancji i kowariancji y oraz x.
iloraz_delta <- function(y, x) {
  n <- length(x); R <- mean(y) / mean(x)
  c(est = R, se = sqrt((var(y) - 2 * R * cov(y, x) + R^2 * var(x)) / (n * mean(x)^2)))
}
# Naiwnie: CTR jak odsetek z n = liczba wyświetleń; koszyk jak średnia z n = liczba zamówień
ctr_naiwny <- function(d) { p <- sum(d$klikniecia) / sum(d$wyswietlenia)
  c(est = p, se = sqrt(p * (1 - p) / sum(d$wyswietlenia))) }
koszyk_naiwny <- function(v) c(est = mean(v), se = sd(v) / sqrt(length(v)))

A <- uz[uz$wariant == warianty[1], ]; B <- uz[uz$wariant == warianty[2], ]
roznica <- function(a, b, skala) {          # różnica B − A, 95% CI z rozkładu normalnego i p
  r <- (b["est"] - a["est"]) * skala; se <- sqrt(a["se"]^2 + b["se"]^2) * skala
  c(roznica = unname(r), SE = unname(se), dolna = unname(r - 1.96 * se), gorna = unname(r + 1.96 * se),
    p = unname(2 * pnorm(-abs(r / se))))
}
wyn <- rbind(
  "CTR (pp) | naiwny" = roznica(ctr_naiwny(A), ctr_naiwny(B), 100),
  "CTR (pp) | metoda delta" = roznica(iloraz_delta(A$klikniecia, A$wyswietlenia),
                                      iloraz_delta(B$klikniecia, B$wyswietlenia), 100),
  "koszyk (zł) | naiwny" = roznica(koszyk_naiwny(zam$wartosc_zl[zam$wariant == warianty[1]]),
                                   koszyk_naiwny(zam$wartosc_zl[zam$wariant == warianty[2]]), 1),
  "koszyk (zł) | metoda delta" = roznica(iloraz_delta(A$przychod_zl, A$zamowienia),
                                         iloraz_delta(B$przychod_zl, B$zamowienia), 1))

# Bootstrap: losujemy ze zwracaniem całych użytkowników (z ich wszystkimi wyświetleniami i zamówieniami),
# osobno w każdej wersji, i liczymy różnicę ilorazów od nowa. 2000 powtórzeń.
set.seed(614)
B_boot <- 2000
boot <- t(replicate(B_boot, {
  a <- sample.int(nrow(A), replace = TRUE); b <- sample.int(nrow(B), replace = TRUE)   # numery użytkowników
  c(ctr = 100 * (sum(B$klikniecia[b]) / sum(B$wyswietlenia[b]) - sum(A$klikniecia[a]) / sum(A$wyswietlenia[a])),
    koszyk = sum(B$przychod_zl[b]) / sum(B$zamowienia[b]) - sum(A$przychod_zl[a]) / sum(A$zamowienia[a]))
}))
boot_wiersz <- function(v, est) c(roznica = est, SE = sd(v), dolna = unname(quantile(v, .025)),
                                  gorna = unname(quantile(v, .975)), p = NA)
wyn <- rbind(wyn,
  "CTR (pp) | bootstrap po użytkownikach" = boot_wiersz(boot[, "ctr"], wyn["CTR (pp) | naiwny", "roznica"]),
  "koszyk (zł) | bootstrap po użytkownikach" = boot_wiersz(boot[, "koszyk"], wyn["koszyk (zł) | naiwny", "roznica"]))
wyn <- wyn[c(1, 2, 5, 3, 4, 6), ]
print(round(wyn, 3))

# O ile naiwny błąd standardowy jest za mały? (kwadrat ilorazu SE to efekt schematu)
SE_iloraz <- c(CTR = wyn[2, "SE"] / wyn[1, "SE"], koszyk = wyn[5, "SE"] / wyn[4, "SE"])
round(rbind(SE_delta_do_naiwnego = SE_iloraz, efekt_schematu = SE_iloraz^2), 2)

tab <- data.frame(miara = sub(" \\|.*", "", rownames(wyn)), metoda = sub(".*\\| ", "", rownames(wyn)), wyn)
tab$miara <- factor(tab$miara, c("CTR (pp)", "koszyk (zł)"),
                    c("Różnica CTR, B − A (punkty procentowe)", "Różnica średniego koszyka, B − A (zł)"))
tab$metoda <- factor(tab$metoda, rev(names(kol_metoda)))
p3 <- ggplot(tab, aes(roznica, metoda, colour = metoda, shape = metoda)) +
  geom_vline(xintercept = 0, colour = "grey40", linetype = "dashed") +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0.25, linewidth = 1, orientation = "y") +
  geom_point(size = 3.4) +
  geom_text(aes(x = gorna, label = sprintf("[%s, %s]", os_minus(sprintf("%.2f", dolna)), os_minus(sprintf("%.2f", gorna)))), hjust = -0.12, size = 3.8,
            show.legend = FALSE) +
  facet_wrap(~ miara, ncol = 1, scales = "free_x") +
  scale_colour_manual(values = kol_metoda, guide = "none") + scale_shape_manual(values = ksztalt_metoda, guide = "none") +
  scale_x_continuous(labels = os_minus, expand = expansion(mult = c(0.08, 0.38))) +
  labs(title = "Ta sama różnica, trzy przedziały 95%",
       subtitle = "Naiwny traktuje wyświetlenia i zamówienia jak niezależne osoby", x = NULL, y = NULL) +
  motyw
p3   # ggsave("wskazniki-ilorazowe-trzy-przedzialy.svg", p3, width = 10, height = 6)
Wynik w R
                                         roznica    SE   dolna  gorna     p
CTR (pp) | naiwny                          0.281 0.121   0.044  0.517 0.020
CTR (pp) | metoda delta                    0.281 0.161  -0.035  0.597 0.082
CTR (pp) | bootstrap po użytkownikach      0.281 0.161  -0.055  0.610    NA
koszyk (zł) | naiwny                       1.841 7.167 -12.207 15.889 0.797
koszyk (zł) | metoda delta                 1.841 7.961 -13.762 17.444 0.817
koszyk (zł) | bootstrap po użytkownikach   1.841 8.069 -13.807 18.883    NA
                      CTR koszyk
SE_delta_do_naiwnego 1.34   1.11
efekt_schematu       1.79   1.23

5. Rozkład bootstrapowy: Rysunek 4

Dane wejściowe: boot, B_boot i wyn z przepisu 4.

Co odczytać: odsetek prób bootstrapowych poniżej zera i skośność rozkładu bootstrapowego.

R
# Rysunek 4. Rozkład bootstrapowy różnic na tle krzywych normalnych z metody delta i z wzoru naiwnego
# (korzysta z boot, B_boot i wyn z przepisu 4 oraz motyw i os_minus() z przepisu 1)
library(ggplot2)

roz <- rbind(data.frame(miara = "Różnica CTR (pp)", wartosc = boot[, "ctr"]),
             data.frame(miara = "Różnica średniego koszyka (zł)", wartosc = boot[, "koszyk"]))
krzywa <- function(miara, est, se_delta, se_naiwny) {
  x <- seq(est - 4.2 * se_delta, est + 4.2 * se_delta, length.out = 300)
  rbind(data.frame(miara, x, gestosc = dnorm(x, est, se_delta), krzywa = "metoda delta"),
        data.frame(miara, x, gestosc = dnorm(x, est, se_naiwny), krzywa = "naiwny"))
}
krzywe <- rbind(krzywa("Różnica CTR (pp)", wyn[1, "roznica"], wyn[2, "SE"], wyn[1, "SE"]),
                krzywa("Różnica średniego koszyka (zł)", wyn[4, "roznica"], wyn[5, "SE"], wyn[4, "SE"]))
# Odsetek prób bootstrapowych poniżej zera i skośność rozkładu bootstrapowego
skosnosc <- function(v) mean((v - mean(v))^3) / sd(v)^3
round(rbind(ponizej_zera_proc = 100 * colMeans(boot < 0), skosnosc = apply(boot, 2, skosnosc)), 2)

p4 <- ggplot(roz, aes(wartosc)) +
  geom_histogram(aes(y = after_stat(density)), bins = 45, fill = "#009E73", alpha = 0.45, colour = "white") +
  geom_line(data = krzywe, aes(x, gestosc, colour = krzywa, linetype = krzywa), linewidth = 1) +
  geom_vline(xintercept = 0, colour = "grey30") +
  facet_wrap(~ miara, ncol = 2, scales = "free") +
  scale_x_continuous(labels = os_minus) +
  scale_colour_manual(values = c("metoda delta" = "#0072B2", "naiwny" = "#E69F00"), name = NULL) +
  scale_linetype_manual(values = c("metoda delta" = "solid", "naiwny" = "dashed"), name = NULL) +
  labs(title = sprintf("%d prób bootstrapowych (losowani użytkownicy)", B_boot),
       subtitle = "Słupki – bootstrap; linie – rozkład normalny z SE metody delta i z SE naiwnego",
       x = "Różnica B − A", y = "Gęstość") +
  motyw
p4   # ggsave("wskazniki-ilorazowe-bootstrap.svg", p4, width = 10, height = 5)
Wynik w R
                    ctr koszyk
ponizej_zera_proc  4.55  40.40
skosnosc          -0.04   0.08

6. 1000 testów A/A: Rysunek 5

Dane wejściowe: funkcje z przepisów 1 i 4; dane 1000 testów losuje kod.

Co odczytać: pokrycie przedziałów (%), błąd Monte Carlo (pp) i odsetek fałszywych alarmów dla każdej metody i wskaźnika.

R
# Rysunek 5. 1000 testów A/A: jak często 95% przedział obejmuje prawdziwą różnicę (zero)?
# (korzysta z generuj(), iloraz_delta(), ctr_naiwny(), koszyk_naiwny(), roznica(), kol_metoda,
#  ksztalt_metoda i motyw z przepisów 1 i 4)
library(ggplot2)

# Bootstrap po użytkownikach w wersji szybkiej: wylosowanie n użytkowników ze zwracaniem to to samo,
# co wylosowanie z rozkładu wielomianowego, ilu razy trafi każdy typ użytkownika (ta sama para y, x).
boot_iloraz <- function(y, x, B) {
  klucz <- y * 1000 + x; typ <- !duplicated(klucz)        # x < 1000, więc klucz jednoznaczny
  ile <- tabulate(match(klucz, klucz[typ]), sum(typ))
  M <- rmultinom(B, length(x), ile / length(x))
  colSums(M * y[typ]) / colSums(M * x[typ])
}
set.seed(614)
n_testow <- 1000; B_sym <- 200
sym <- do.call(rbind, lapply(seq_len(n_testow), function(i) {
  a <- generuj(8000); b <- generuj(8000)          # obie wersje identyczne: prawdziwa różnica = 0
  A <- a$uzytkownicy; B <- b$uzytkownicy
  ctr_b <- 100 * (boot_iloraz(B$klikniecia, B$wyswietlenia, B_sym) - boot_iloraz(A$klikniecia, A$wyswietlenia, B_sym))
  kosz_b <- boot_iloraz(B$przychod_zl, B$zamowienia, B_sym) - boot_iloraz(A$przychod_zl, A$zamowienia, B_sym)
  obejmuje <- function(r) unname(r["dolna"] <= 0 & r["gorna"] >= 0)
  data.frame(miara = rep(c("CTR", "koszyk"), each = 3), metoda = rep(names(kol_metoda), 2), obejmuje = c(
    obejmuje(roznica(ctr_naiwny(A), ctr_naiwny(B), 100)),
    obejmuje(roznica(iloraz_delta(A$klikniecia, A$wyswietlenia), iloraz_delta(B$klikniecia, B$wyswietlenia), 100)),
    quantile(ctr_b, .025) <= 0 & quantile(ctr_b, .975) >= 0,
    obejmuje(roznica(koszyk_naiwny(a$zamowienia$wartosc_zl), koszyk_naiwny(b$zamowienia$wartosc_zl), 1)),
    obejmuje(roznica(iloraz_delta(A$przychod_zl, A$zamowienia), iloraz_delta(B$przychod_zl, B$zamowienia), 1)),
    quantile(kosz_b, .025) <= 0 & quantile(kosz_b, .975) >= 0))
}))
pokrycie <- aggregate(obejmuje ~ miara + metoda, sym, mean)
pokrycie$pokrycie_proc <- 100 * pokrycie$obejmuje
pokrycie$blad_MC_pp <- 100 * sqrt(pokrycie$obejmuje * (1 - pokrycie$obejmuje) / n_testow)
pokrycie$falszywe_alarmy_proc <- 100 - pokrycie$pokrycie_proc
print(pokrycie[order(pokrycie$miara, -pokrycie$pokrycie_proc), -3], row.names = FALSE, digits = 3)

pokrycie$miara <- factor(pokrycie$miara, c("CTR", "koszyk"), c("CTR", "Średni koszyk"))
pokrycie$metoda <- factor(pokrycie$metoda, rev(names(kol_metoda)))
p5 <- ggplot(pokrycie, aes(pokrycie_proc, metoda, colour = metoda, shape = metoda)) +
  annotate("rect", xmin = 95 - 1.96 * sqrt(.95 * .05 / n_testow) * 100, xmax = 95 + 1.96 * sqrt(.95 * .05 / n_testow) * 100,
           ymin = -Inf, ymax = Inf, fill = "grey88") +
  geom_vline(xintercept = 95, colour = "grey30", linetype = "dashed") +
  geom_errorbar(aes(xmin = pokrycie_proc - 1.96 * blad_MC_pp, xmax = pokrycie_proc + 1.96 * blad_MC_pp),
                width = 0.2, linewidth = 0.9, orientation = "y") +
  geom_point(size = 3.6) +
  geom_text(aes(label = sprintf("%.1f%%", pokrycie_proc)), vjust = -1.1, size = 4, show.legend = FALSE) +
  facet_wrap(~ miara, ncol = 2) +
  scale_colour_manual(values = kol_metoda, guide = "none") + scale_shape_manual(values = ksztalt_metoda, guide = "none") +
  scale_x_continuous(limits = c(80, 100), breaks = seq(80, 100, 5)) +
  labs(title = "1000 testów A/A: ile przedziałów 95% obejmuje zero?",
       subtitle = "Szary pas – typowy rozrzut wyniku poprawnej metody przy 1000 testach",
       x = "Pokrycie przedziału (%)", y = NULL) +
  motyw
p5   # ggsave("wskazniki-ilorazowe-1000-testow-aa.svg", p5, width = 10, height = 4.8)
Wynik w R
  miara                     metoda pokrycie_proc blad_MC_pp
    CTR               metoda delta          93.9      0.757
    CTR bootstrap po użytkownikach          92.4      0.838
    CTR                     naiwny          84.4      1.147
 koszyk               metoda delta          96.3      0.597
 koszyk bootstrap po użytkownikach          95.4      0.662
 koszyk                     naiwny          93.6      0.774
 falszywe_alarmy_proc
                  6.1
                  7.6
                 15.6
                  3.7
                  4.6
                  6.4

7. Skośny koszyk: Rysunek 6

Dane wejściowe: uz, zam i warianty z przepisu 1.

Co odczytać: próg 99. centyla, skośność, maksimum i liczbę przyciętych zamówień; cztery miary położenia dla obu wersji razem; tabelę miar w A i B z różnicą, 95% CI i SE z bootstrapu.

R
# Rysunek 6. Skośny koszyk: średnia, mediana, średnia ucinana i średnia po przycięciu dużych zamówień
# (korzysta z uz, zam, warianty, iloraz_delta() z przepisów 1 i 4 oraz motyw i os_minus())
library(ggplot2)
library(patchwork)

# Próg przycięcia: 99. centyl wartości zamówienia w obu wersjach razem (ustalony z góry, ten sam dla A i B)
prog <- unname(quantile(zam$wartosc_zl, 0.99))
statystyki <- function(v) c("średnia" = mean(v), "mediana" = median(v), "średnia ucinana 5%" = mean(v, trim = 0.05),
                            "średnia po przycięciu do 99. centyla" = mean(pmin(v, prog)))
vA <- zam$wartosc_zl[zam$wariant == warianty[1]]; vB <- zam$wartosc_zl[zam$wariant == warianty[2]]
c(prog_zl = round(prog, 2), skosnosc = round(mean((zam$wartosc_zl - mean(zam$wartosc_zl))^3) / sd(zam$wartosc_zl)^3, 2),
  maks_zl = max(zam$wartosc_zl), przycietych = sum(zam$wartosc_zl > prog))
round(statystyki(zam$wartosc_zl), 2)              # obie wersje razem (linie na panelu A)

# Bootstrap po użytkownikach (losujemy klientów razem z ich wszystkimi zamówieniami), 1000 powtórzeń
idA <- split(vA, zam$id[zam$wariant == warianty[1]]); idB <- split(vB, zam$id[zam$wariant == warianty[2]])
nA <- sum(uz$wariant == warianty[1]); nB <- sum(uz$wariant == warianty[2])
losuj <- function(lista, n) {     # n użytkowników ze zwracaniem; ci bez zamówień nic nie wnoszą
  k <- rbinom(1, n, length(lista) / n)              # ilu wylosowanych ma zamówienia
  unlist(lista[sample.int(length(lista), k, replace = TRUE)], use.names = FALSE)
}
set.seed(614)
bt <- t(replicate(1000, statystyki(losuj(idB, nB)) - statystyki(losuj(idA, nA))))
tabela <- data.frame(statystyka = names(statystyki(vA)), A = statystyki(vA), B = statystyki(vB),
                     roznica = statystyki(vB) - statystyki(vA),
                     dolna = apply(bt, 2, quantile, .025), gorna = apply(bt, 2, quantile, .975), SE = apply(bt, 2, sd))
print(transform(tabela, A = round(A, 2), B = round(B, 2), roznica = round(roznica, 2), dolna = round(dolna, 2),
                gorna = round(gorna, 2), SE = round(SE, 2)), row.names = FALSE)

dl <- data.frame(statystyka = names(statystyki(zam$wartosc_zl)), wartosc = statystyki(zam$wartosc_zl))
dl$statystyka <- factor(dl$statystyka, dl$statystyka)
kol_stat <- setNames(c("#D55E00", "#0072B2", "#009E73", "#CC79A7"), levels(dl$statystyka))
lin_stat <- setNames(c("solid", "dashed", "dotdash", "longdash"), levels(dl$statystyka))
pA <- ggplot(zam, aes(wartosc_zl)) +
  geom_histogram(binwidth = 50, boundary = 0, fill = "grey70", colour = "white") +
  geom_vline(data = dl, aes(xintercept = wartosc, colour = statystyka, linetype = statystyka), linewidth = 1) +
  scale_x_continuous(breaks = seq(0, 1800, 300)) +
  scale_colour_manual(values = kol_stat, name = NULL) + scale_linetype_manual(values = lin_stat, name = NULL) +
  guides(colour = guide_legend(ncol = 2)) +
  labs(title = "A. Wartość zamówienia", subtitle = sprintf("%d zamówień z obu wersji", nrow(zam)),
       x = "Wartość zamówienia (zł)", y = "Liczba zamówień") + motyw
tabela$statystyka <- factor(tabela$statystyka, rev(levels(dl$statystyka)))
pB <- ggplot(tabela, aes(roznica, statystyka, colour = statystyka, linetype = statystyka)) +
  geom_vline(xintercept = 0, colour = "grey40") +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0.25, linewidth = 1, orientation = "y") +
  geom_point(size = 3) +
  scale_colour_manual(values = kol_stat, guide = "none") + scale_linetype_manual(values = lin_stat, guide = "none") +
  scale_x_continuous(labels = os_minus) +
  scale_y_discrete(labels = c("średnia po przycięciu do 99. centyla" = "średnia po przycięciu", "średnia ucinana 5%" = "ucinana 5%")) +
  labs(title = "B. Różnica B − A z 95% CI", subtitle = "Bootstrap po użytkownikach", x = "Różnica (zł)", y = NULL) + motyw
p6 <- (pA + pB + plot_layout(widths = c(1.25, 1))) & theme(legend.position = "bottom")
p6 <- p6 + plot_layout(guides = "collect")
p6   # ggsave("wskazniki-ilorazowe-skosny-koszyk.svg", p6, width = 10, height = 5.6)
Wynik w R
    prog_zl    skosnosc     maks_zl przycietych 
    1033.48        2.48     1792.40       31.00 
                             średnia                              mediana 
                              246.45                               192.33 
                  średnia ucinana 5% średnia po przycięciu do 99. centyla 
                              223.44                               243.98 
                           statystyka      A      B roznica  dolna gorna   SE
                              średnia 245.53 247.37    1.84 -12.65 17.88 8.02
                              mediana 192.85 191.40   -1.45 -13.86 13.65 7.15
                   średnia ucinana 5% 223.88 223.04   -0.84 -13.61 12.93 7.09
 średnia po przycięciu do 99. centyla 243.29 244.66    1.37 -12.42 16.35 7.58

8. Kontrola palety: symulacja zaburzeń widzenia barw

Dane wejściowe: pary kolorów z rysunków i – dla porównania – para czerwony–zielony.

Co odczytać: odległość barw ΔE w przestrzeni CIELAB przy typowym widzeniu oraz po symulacji deuteranopii i protanopii. Na rysunkach kolor nigdy nie jest jedynym nośnikiem informacji – towarzyszą mu kształt punktu, rodzaj linii albo podpis.

R
# Czy paleta przetrwa zaburzenia widzenia barw? Symulacja w pakiecie colorspace
library(colorspace)
pary <- list("naiwny – delta" = c("#E69F00", "#0072B2"), "naiwny – bootstrap" = c("#E69F00", "#009E73"),
             "delta – bootstrap" = c("#0072B2", "#009E73"), "wersja A – wersja B" = c("#56B4E9", "#D55E00"),
             "średnia – przycięta" = c("#D55E00", "#CC79A7"), "mediana – ucinana" = c("#0072B2", "#009E73"),
             "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
roznica_barw <- function(k) {           # odległość barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(k), "LAB")); sqrt(sum((lab[1, ] - lab[2, ])^2))
}
round(t(sapply(pary, function(k) c(widzenie_typowe = roznica_barw(k), deuteranopia = roznica_barw(deutan(k)),
                                   protanopia = roznica_barw(protan(k))))), 1)
Wynik w R
                                 widzenie_typowe deuteranopia protanopia
naiwny – delta                             120.2        121.5      109.3
naiwny – bootstrap                          88.7         66.3       51.5
delta – bootstrap                           70.1         55.4       58.0
wersja A – wersja B                        113.6        101.1       89.0
średnia – przycięta                         74.3         70.2       71.9
mediana – ucinana                           70.1         55.4       58.0
czerwony – zielony (do unikania)           121.7         21.1       31.6

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3. Losowanie danych, metoda delta (var(), cov()), bootstrap (sample.int(), rmultinom()) i kwantyle – pakiet stats z podstawowej instalacji R. Rysunki wykonano w pakiecie ggplot2, panele złożono pakietem patchwork i zapisano pakietem svglite, a paletę sprawdzono pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  4. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1). https://doi.org/10.18637/jss.v096.i01
  5. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Odsetek z wyświetleń jak z osób. Test proporcji na 56 383 wyświetleniach dał p = .020, poprawna analiza p = .082. W 1000 testach A/A naiwny przedział dał fałszywy alarm w 15.6% testów (rysunek 5).
  • Mediana zamiast średniej bez uzasadnienia. Mediana koszyka nie przekłada się na przychód. Przycinanie ustal przed testem (rysunek 6).
  • Zmiana mianownika przez wersję. Jeśli wersja B zmienia liczbę wyświetleń albo zamówień, iloraz może urosnąć, bo spadł mianownik. Zawsze pokaż licznik i mianownik osobno, na użytkownika.
  • Niezgodny podział ruchu. 8000 i 8000 to plan; sprawdź podział testem χ², zanim policzysz wskaźniki (test A/B – plan i analiza).
  • Względny wzrost bez przedziału. Wzrost względny (B / A − 1) to iloraz dwóch ilorazów; jego przedział też policz metodą delta albo bootstrapem.

Najczęstsze pytania

Dlaczego nie można policzyć CTR w teście A/B zwykłym testem proporcji?

Bo test proporcji zakłada, że każde wyświetlenie to niezależna próba, a losowano użytkowników. Wyświetlenia jednej osoby są do siebie podobne: jedni klikają często, inni wcale. W przykładzie naiwny błąd standardowy był 1.34 raza za mały, a w 1000 testach A/A naiwny przedział dał fałszywy alarm w 15.6% testów zamiast 5%.

Jak policzyć przedział ufności dla średniego koszyka w teście A/B?

Potraktuj średni koszyk jako iloraz średniego przychodu i średniej liczby zamówień na użytkownika. Błąd standardowy policz metodą delta z wariancji i kowariancji tych dwóch sum albo bootstrapem, losując ze zwracaniem całych użytkowników z ich zamówieniami. W przykładzie obie metody dały prawie ten sam przedział: [−13.76, 17.44] i [−13.81, 18.88] zł.

Metoda delta czy bootstrap – co wybrać w teście A/B?

Przy tysiącach użytkowników dają prawie to samo (SE różnicy CTR 0.161 w obu metodach). Metoda delta to jeden wzór, liczy się natychmiast i łatwo ją opisać. Bootstrap jest dobrym sprawdzianem, ale tylko wtedy, gdy losujesz użytkowników, a nie wyświetlenia czy zamówienia, i użyjesz co najmniej 2000 prób.

Czy przy skośnym koszyku lepiej porównać medianę niż średnią?

Mediana i średnia ucinana dają węższy przedział, ale odpowiadają na inne pytanie: przychód sklepu zależy od średniej. Częsty kompromis to przycięcie największych zamówień do progu ustalonego przed testem (np. 99. centyla, wspólnego dla obu wersji) i podanie wyniku dla zwykłej średniej jako głównego.

Czym jest test A/A i po co go robić?

To test, w którym obie wersje są identyczne, więc prawdziwa różnica wynosi zero. Powtórzony wiele razy (na danych albo w symulacji) pokazuje, czy metoda analizy daje fałszywy alarm w ok. 5% przypadków. W przykładzie metoda delta objęła zero w 93.9% testów, a naiwny przedział CTR tylko w 84.4%.

Powiązane hasła

Przeczytaj też

Analizujesz test A/B do pracy z marketingu?

Pomożemy zaplanować test, dobrać metryki, policzyć przedziały na poziomie użytkownika i opisać wynik tak, żebyś umiał(a) go obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Cameron, A. C., & Miller, D. L. (2015). A practitioner’s guide to cluster-robust inference. Journal of Human Resources, 50(2), 317–372. https://doi.org/10.3368/jhr.50.2.317
  2. Deng, A., Knoblich, U., & Lu, J. (2018). Applying the delta method in metric analytics. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 233–242). ACM. https://doi.org/10.1145/3219819.3219919 ● Otwarty dostęp: pełny tekst
  3. Efron, B. (1979). Bootstrap methods: Another look at the jackknife. The Annals of Statistics, 7(1), 1–26. https://doi.org/10.1214/aos/1176344552 ● Otwarty dostęp
  4. Field, C. A., & Welsh, A. H. (2007). Bootstrapping clustered data. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 69(3), 369–390. https://doi.org/10.1111/j.1467-9868.2007.00593.x
  5. Hurlbert, S. H. (1984). Pseudoreplication and the design of ecological field experiments. Ecological Monographs, 54(2), 187–211. https://doi.org/10.2307/1942661
  6. Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). Controlled experiments on the web: Survey and practical guide. Data Mining and Knowledge Discovery, 18(1), 140–181. https://doi.org/10.1007/s10618-008-0114-1 ● Otwarty dostęp
  7. Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy online controlled experiments: A practical guide to A/B testing. Cambridge University Press. https://doi.org/10.1017/9781108653985
  8. Oehlert, G. W. (1992). A note on the delta method. The American Statistician, 46(1), 27–29. https://doi.org/10.1080/00031305.1992.10475842

Cytowania BibTeX

@article{cameron2015practitioner, author={Cameron, A. Colin and Miller, Douglas L.}, title={{A practitioner’s guide to cluster-robust inference}}, journal={Journal of Human Resources}, year={2015}, volume={50}, number={2}, pages={317--372}, doi={10.3368/jhr.50.2.317}}
@inproceedings{deng2018applying, author={Deng, Alex and Knoblich, Ulf and Lu, Jiannan}, title={{Applying the delta method in metric analytics}}, booktitle={Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery \& Data Mining}, year={2018}, pages={233--242}, publisher={ACM}, doi={10.1145/3219819.3219919}}
@article{efron1979bootstrap, author={Efron, Bradley}, title={{Bootstrap methods: Another look at the jackknife}}, journal={The Annals of Statistics}, year={1979}, volume={7}, number={1}, pages={1--26}, doi={10.1214/aos/1176344552}}
@article{field2007bootstrapping, author={Field, Christopher A. and Welsh, Alan H.}, title={{Bootstrapping clustered data}}, journal={Journal of the Royal Statistical Society: Series B (Statistical Methodology)}, year={2007}, volume={69}, number={3}, pages={369--390}, doi={10.1111/j.1467-9868.2007.00593.x}}
@article{hurlbert1984pseudoreplication, author={Hurlbert, Stuart H.}, title={{Pseudoreplication and the design of ecological field experiments}}, journal={Ecological Monographs}, year={1984}, volume={54}, number={2}, pages={187--211}, doi={10.2307/1942661}}
@article{kohavi2009controlled, author={Kohavi, Ron and Longbotham, Roger and Sommerfield, Dan and Henne, Randal M.}, title={{Controlled experiments on the web: Survey and practical guide}}, journal={Data Mining and Knowledge Discovery}, year={2009}, volume={18}, number={1}, pages={140--181}, doi={10.1007/s10618-008-0114-1}}
@book{kohavi2020trustworthy, author={Kohavi, Ron and Tang, Diane and Xu, Ya}, title={{Trustworthy online controlled experiments: A practical guide to A/B testing}}, year={2020}, publisher={Cambridge University Press}, doi={10.1017/9781108653985}}
@article{oehlert1992note, author={Oehlert, Gary W.}, title={{A note on the delta method}}, journal={The American Statistician}, year={1992}, volume={46}, number={1}, pages={27--29}, doi={10.1080/00031305.1992.10475842}}
R