Statystyka · Marketing

CUPED – krótszy test A/B dzięki danym sprzed testu

Jedna fikcyjna księgarnia internetowa, 16000 klientów i pięć rysunków z R: jak wydatki sprzed testu zwężają przedział efektu, ile klientów oszczędza korekta przy różnej korelacji i dlaczego kowariant z okresu testu „zjada” efekt – z gotowymi zdaniami do pracy.

Strona główna / Blog / CUPED w teście A/B
W skrócie: CUPED odejmuje od wyniku testu część, którą przewiduje historia klienta: Ycuped = Y − θ(X − MX), gdzie θ = cov(X, Y)/var(X), a X zmierzono przed losowaniem. Efekt się nie zmienia, a wariancja spada mniej więcej do 1 − r2. W przykładzie (r = .56) przedział efektu zwęził się z 6.97 do 5.79 zł, a w 1000 symulowanych testach moc wzrosła z 58.5% do 74.7%. Kowariant musi pochodzić sprzed startu testu – wydatki z pierwszego tygodnia testu obciążyły efekt z 3.60 do średnio 1.26 zł.

Przykład: księgarnia internetowa i sekcja „następny tom serii”

Fikcyjna księgarnia internetowa chce sprawdzić, czy sekcja „następny tom serii” (podpowiada kolejną część serii, którą klient czyta) zwiększa wydatki stałych klientów. Robi test A/B: 16000 zalogowanych klientów losuje po połowie do wersji A (obecna strona) i B (strona z nową sekcją). Metryka główna to wydatki klienta w 2 tygodniach testu (zł).

Kłopot: wydatki skaczą od klienta do klienta. Średnia w teście wynosi 47.06 zł, ale SD = 112.43 zł, 67.86% klientów nic w tym czasie nie kupiło, a najwięksi klienci (1%) wydali ponad 493.18 zł. Taki szum (silna skośność) zagłusza efekt rzędu kilku złotych. Sklep ma jednak coś jeszcze: wydatki każdego klienta z 4 tygodni przed testem. CUPED (ang. Controlled-experiment Using Pre-Experiment Data) wykorzystuje te dane, żeby zmniejszyć zmienność metryki i zwiększyć czułość testu (Deng i in., 2013). Ogólny plan testu – metryka, liczebność, czas trwania – opisuje wpis test A/B – plan i analiza. Tu zajmujemy się jednym krokiem: jak wycisnąć więcej z tych samych klientów.

Dane są fikcyjne, więc znamy prawdziwy efekt. Ręcznie ustaliliśmy: każdy klient ma stałe tempo zamówień (rozkład gamma o kształcie 0.5, średnio 0.3 zamówienia tygodniowo), tygodniowe wahania tego tempa i typową kwotę zamówienia (75 zł). Wersja B zwiększa liczbę zamówień o 8%, czyli wydatki o 3.60 zł na klienta w 2 tygodniach. Kształt rozkładu i wahania dobraliśmy w próbnych uruchomieniach tak, by korelacja wydatków przed testem i w teście była umiarkowana (ok. .5–.6), a efekt 8% i liczbę klientów tak, by test bez korekty miał moc ok. 50–60%. Ziarna 613 (dane) i 6130 (symulacja) ustalono raz i nie zmieniano ich. Dane pobierzesz jako cuped-ksiegarnia-test.csv (wiersz = klient: grupa, wydatki przed testem, w 1. i 2. tygodniu testu).

Rysunek 1: CUPED w trzech krokach

Schemat: u góry oś czasu z niebieskim okresem 4 tygodni przed testem (wydatki X) i pomarańczowym okresem 2 tygodni testu (wydatki Y); strzałki z obu okresów prowadzą do środkowej ramki „Korekta CUPED” ze wzorami theta = cov(X, Y) / var(X) i Y_cuped = Y − theta razy (X − średnia X); po lewej ramka „Losowanie”, po prawej „Porównanie A i B”; pomarańczowa uwaga, że kowariant X nie może pochodzić z okresu testu
Rysunek 1. Okres przed testem, test i korekta CUPED. Grafika: R, ggplot2.

Co widać. Dla każdego klienta mamy dwie liczby: X – wydatki w 4 tygodniach przed startem i Y – wydatki w 2 tygodniach testu. X powstało, zanim ktokolwiek zobaczył nową sekcję, więc nie może zależeć od wersji. Korekta odejmuje od Y tę część, którą da się przewidzieć z X. Zostaje mniej szumu, a różnica między wersjami – ta sama.

Jak może zmylić. Schemat sugeruje, że wystarczy „jakaś” historia. Działa tylko historia, która naprawdę przewiduje wynik testu, i tylko ta zmierzona przed losowaniem (rysunki 4 i 5).

Podpis do pracy:

Rysunek 1. Schemat analizy testu A/B z korektą CUPED. X – wydatki klienta w 4 tygodniach przed testem; Y – wydatki w 2 tygodniach testu; θ – współczynnik korekty.

Zdanie do Metody:

Jako kowariant wykorzystano wydatki klienta w 4 tygodniach poprzedzających start testu, zmierzone przed losowym przydziałem do wersji.

Rysunek 2: historia klienta przewiduje wynik testu

Wykres rozrzutu wydatków 1000 losowych klientów: oś pozioma – wydatki w 4 tygodniach przed testem do 600 zł, oś pionowa – wydatki w 2 tygodniach testu do 400 zł; wiele szarych punktów leży na osiach przy zerze; niebieska prosta o nachyleniu theta = 0.36 rośnie z ok. 15 do ok. 230 zł; pomarańczowe romby średnich w przedziałach leżą blisko prostej; r = .56
Rysunek 2. Wydatki przed testem i w czasie testu. R, ggplot2 (dane symulowane, set.seed(613)).

Co widać. Kto dużo wydawał przed testem, zwykle dużo wydaje i w teście. Korelacja Pearsona wydatków przed i w teście wynosi r = .56. Niebieska prosta to przewidywanie Y z X. Jej nachylenie to θ = 0.36: każda złotówka wydana w 4 tygodniach przed testem „zapowiada” ok. 36 groszy wydatków w 2 tygodniach testu. Pomarańczowe romby (średnie Y w przedziałach X, policzone na wszystkich klientach) leżą blisko prostej, więc związek jest w przybliżeniu liniowy.

Jak może zmylić. Większość punktów to zera: 54.74% klientów nic nie kupiło przed testem. Korelację tworzą głównie klienci kupujący często. Na rysunku jest tylko 1000 losowych klientów, a 3.3% wszystkich wypada poza osie – to właśnie oni najbardziej podbijają wariancję.

Podpis do pracy:

Rysunek 2. Wydatki klientów w 2 tygodniach testu względem wydatków w 4 tygodniach przed testem (losowa próba 1000 z 16000 klientów). Uwaga. Prosta – regresja wydatków w teście na wydatki przed testem; romby – średnie w przedziałach wydatków przed testem (wszyscy klienci); 3.3% klientów poza zakresem osi. Dane symulowane.

Zdanie do Wyników:

Wydatki klientów przed testem korelowały z wydatkami w czasie testu, r = .56, co uzasadniało ich użycie jako kowariantu.

Korekta CUPED w jednym wzorze

Liczymy θ jako kowariancję X i Y podzieloną przez wariancję X – to dokładnie nachylenie prostej z rysunku 2, czyli współczynnik z regresji liniowej Y na X. Potem każdemu klientowi poprawiamy wynik:

Ycuped = Y − θ × (X − MX),   θ = cov(X, Y) / var(X)

Słowami: klient, który przed testem wydawał więcej niż przeciętnie, „oddaje” część wydatków z testu; ten, który wydawał mniej, dostaje dopisek. Średnia się nie zmienia (47.06 zł przed i po korekcie), ale SD spada ze 112.43 do 93.36 zł. Zostaje 68.9% wariancji, czyli mniej więcej 1 − r2: korekta zabiera tyle zmienności, ile wyjaśnia historia klienta.

Dlaczego efekt się nie zmienia? X zmierzono przed losowaniem, więc średnio jest takie samo w grupach A i B. Odejmujemy od obu grup „to samo w oczekiwaniu”, a różnica B − A celuje w ten sam efekt co bez korekty. Zmienia się tylko precyzja.

Rysunek 3: ten sam test, cztery analizy

Wykres przedziałów ufności efektu wersji B: bez korekty pomarańczowy trójkąt 3.30 zł, 95% CI od −0.18 do 6.79, szerokość 6.97 zł; trzy niebieskie przedziały – CUPED, ANCOVA i ANCOVA z interakcją – po 2.82 zł od −0.07 do ok. 5.70, szerokość ok. 5.8 zł; przerywana linia prawdziwego efektu 3.60 zł mieści się we wszystkich przedziałach
Rysunek 3. Efekt wersji B z 95% przedziałami ufności w czterech analizach. R, ggplot2, sandwich (dane symulowane).

Co widać. Bez korekty wersja B dała 3.30 zł więcej na klienta, 95% CI [−0.18, 6.79], p = .063. Z CUPED: 2.82 zł, 95% CI [−0.07, 5.71], p = .056. Przedział ufności zwęził się z 6.97 do 5.79 zł, czyli do 0.83 dawnej szerokości. Taką precyzję test bez korekty osiągnąłby przy ok. 11032 klientach zamiast 16000.

Oszacowanie przesunęło się o 0.48 zł, bo grupa B przypadkiem wydawała przed testem trochę więcej (90.66 wobec 89.31 zł). Korekta odjęła tę przewagę razy θ. To nie błąd, tylko usunięcie przypadkowej różnicy na starcie.

CUPED to ANCOVA. Model lm(Y ~ grupa + X) daje co do grosza ten sam wynik. To ta sama idea co w ANCOVA z pomiarem wyjściowym jako kowariantem – geometrię równoległych prostych pokazuje wpis ANCOVA – wizualizacja na obrazkach. Czwarta wersja dodaje interakcję grupa × X i odporny błąd standardowy. Lin (2013) pokazuje, że korekta z pełnym zestawem interakcji nie pogarsza asymptotycznej precyzji, a poprawne przedziały daje estymator kanapkowy. Yang i Tsiatis (2001) wskazują ten wariant (obok GEE) jako asymptotycznie najbardziej efektywny w badaniu przed–po. Tu wynik prawie się nie zmienił: 2.82 zł, 95% CI [−0.07, 5.70].

Jak może zmylić. CUPED nie gwarantuje istotności. W tym teście oba wyniki są „na granicy”, choć prawdziwy efekt (3.60 zł) istnieje i mieści się w obu przedziałach. Test był po prostu za mały – rysunek 4 pokazuje, jak często tak się zdarza.

Podpis do pracy:

Rysunek 3. Różnica średnich wydatków (wersja B − wersja A) w 2 tygodniach testu z 95% przedziałami ufności, bez korekty i z korektą o wydatki sprzed testu (N = 16000). Uwaga. Linia przerywana – prawdziwy efekt w danych symulowanych.

Zdanie do Wyników:

Po korekcie CUPED o wydatki z 4 tygodni przed testem klienci wersji B wydali średnio o 2.82 zł więcej niż klienci wersji A, 95% CI [−0.07, 5.71], p = .056 (bez korekty: 3.30 zł, 95% CI [−0.18, 6.79], p = .063); korekta zwęziła przedział ufności o 17%.

Rysunek 4: 1000 testów – ile daje korelacja

Dwa panele. A: szara krzywa 100 × (1 − r kwadrat) opada z 100% przy r = 0 do ok. 10% przy r = .95; niebieskie punkty z symulacji: losowe X 100%, 1 tydzień historii 82%, 2 tygodnie 73%, 4 tygodnie 66%, 8 tygodni 58%, 12 tygodni 55%; prawa oś przelicza to na dni testu zamiast 14. B: moc przy 16000 klientach – bez korekty 58.5% i z losowym X 58.4% (pomarańczowe trójkąty), z historią od 67.2% (1 tydzień) do 80.9% (12 tygodni) – niebieskie kropki z wąsami błędu Monte Carlo
Rysunek 4. Wariancja efektu i moc w 1000 symulowanych testach przy różnej długości historii klienta. R, ggplot2, patchwork (dane symulowane, set.seed(6130)).

Jeden test to jeden rzut monetą. Dlatego powtórzyliśmy go 1000 razy: za każdym razem nowych 16000 klientów, ten sam prawdziwy efekt (+8% zamówień) i 12 tygodni historii. W każdym teście liczymy efekt bez korekty i z CUPED przy różnej długości historii.

Co widać. Panel A: im wyższa korelacja historii z wynikiem testu, tym mniej klientów potrzeba do tej samej precyzji. Punkty z symulacji leżą przy krzywej 1 − r2. Historia z 4 tygodni (r = .56) zostawia 65.9% wariancji. Jeśli nowi klienci napływają w stałym tempie, to ok. 9.2 dnia zamiast 14. Dwanaście tygodni (r = .64) daje 54.8%, ale przyrost słabnie: 8 tygodni to już 57.6%. Panel B: moc testu rośnie z 58.5% bez korekty do 74.7% przy 4 tygodniach i 80.9% przy 12 tygodniach (błąd Monte Carlo ok. 1.2–1.6 pp). Historia przypisana losowo (r = .00) nie pomaga, ale też nie szkodzi: 58.4%.

Średni efekt ze wszystkich wariantów to 3.61–3.65 zł przy prawdziwych 3.60 zł. 95% przedziały obejmowały prawdziwy efekt w 94.9–95.3% testów, więc korekta nie psuje wnioskowania. Wynik zgadza się z tym, co opisują Deng i in. (2013): zmniejszenie wariancji o około połowę daje tę samą moc przy połowie użytkowników albo w połowie czasu.

Jak może zmylić. Prawa oś (dni) obowiązuje tylko wtedy, gdy liczba klientów rośnie z czasem proporcjonalnie. Gdy testujesz stałą bazę klientów, skrócenie testu zmienia samą metrykę (wydatki w 9 dni to coś innego niż w 14) i jej korelację z historią. Wtedy zysk wykorzystaj na mniejszą grupę testową albo mniejszy wykrywalny efekt.

Podpis do pracy:

Rysunek 4. Wyniki 1000 symulowanych testów A/B (N = 16000 w każdym). Panel A: wariancja oszacowania efektu z korektą CUPED jako procent wariancji bez korekty, w funkcji korelacji kowariantu z wynikiem; linia – 100 × (1 − r²). Panel B: odsetek testów z p < .05 (moc) z przedziałem ±1.96 błędu Monte Carlo.

Zdanie do Metody:

Liczebność testu wyznaczono z uwzględnieniem korekty o kowariant: przy korelacji r = .56 między wydatkami przed testem a wydatkami w teście wariancja oszacowania efektu zmniejsza się w przybliżeniu do (1 − r²) wariancji bez korekty.

Rysunek 5: pułapka – kowariant z okresu testu

Trzy histogramy oszacowań efektu z tych samych 1000 testów: pomarańczowy bez korekty i niebieski z CUPED (historia 4 tygodni) są wyśrodkowane na przerywanej linii prawdziwego efektu 3.60 zł (średnio 3.61 i 3.64 zł, przedziały obejmują prawdziwy efekt w 94.9% i 95.1% testów); szary histogram z kowariantem z 1. tygodnia testu jest wąski i przesunięty w lewo, ku zeru – średnio 1.26 zł, pokrycie 33.7%
Rysunek 5. Rozkład oszacowań efektu w 1000 testach: bez korekty, z poprawnym kowariantem i z kowariantem zmierzonym w czasie testu. R, ggplot2 (dane symulowane).

Co widać. Ktoś w zespole proponuje: „weźmy jako X wydatki z pierwszego tygodnia testu, bo jeszcze lepiej przewidują wynik”. I faktycznie: korelacja rośnie do r = .81, a wariancja spada do 32.4%. Tyle że histogram (szary) leży w złym miejscu: średni efekt to 1.26 zł zamiast 3.60 zł, a przedziały obejmują prawdziwy efekt tylko w 33.7% testów (błąd MC 1.5 pp). Moc spada do 25.2%. Powód: w pierwszym tygodniu wersja B już działała, więc X zawiera część efektu, a korekta go odejmuje.

Jak może zmylić. Ta sama pułapka kryje się w mniej oczywistych kowariantach: liczba wizyt w czasie testu, kliknięcia w nową sekcję, segment klienta wyliczony już po starcie. Wąski przedział nie świadczy, że analiza jest dobra. Zasada jest prosta: kowariant musi być ustalony, zanim klient zobaczył wersję.

Podpis do pracy:

Rysunek 5. Rozkład oszacowań efektu w 1000 symulowanych testach A/B przy trzech sposobach analizy. Uwaga. Linia przerywana – prawdziwy efekt (3.60 zł). Kowariant zmierzony w czasie testu (dolny panel) obciąża oszacowanie w stronę zera.

Zdanie do Metody:

Kowariant ustalono w planie analizy przed startem testu; wykorzystano wyłącznie dane sprzed losowego przydziału, aby kowariant nie mógł zależeć od wersji strony.

Co z tym zrobić w marketingu

  • Planuj z CUPED od początku. Policz liczebność jak zwykle i pomnóż ją przez 1 − r2, gdzie r szacujesz na danych z poprzednich tygodni. Borm i in. (2007) pokazują to samo dla ANCOVA: grupy liczące (1 − ρ2)n osób dają taką moc jak test t na grupach po n. Najmniejszy efekt wart wykrycia ustal z góry (SESOI).
  • Kowariant to zwykle ta sama metryka z okresu przed testem. W przykładzie 4–8 tygodni historii dało większość zysku; dłuższa historia dokłada coraz mniej.
  • Nowi klienci nie mają historii. Wpisz im X = 0 i dodaj do modelu wskaźnik „nowy klient” albo analizuj ich osobno. Korekta zadziała wtedy tylko dla stałych klientów.
  • Skrajne wydatki (np. zamówienia dla szkolnej biblioteki) podbijają wariancję bardziej niż cokolwiek innego. Zasadę przycinania ustal w planie, np. winsoryzację na 99. centylu.
  • CUPED czy losowanie warstwowe? Xie i Aurisset (2016) w dużych eksperymentach zalecają techniki stosowane po przydziale (poststratyfikacja, CUPED) zamiast randomizacji warstwowej w chwili przydziału.
  • Wskaźniki ilorazowe (średni koszyk, CTR) wymagają osobnego błędu standardowego – zob. wskaźniki ilorazowe w testach A/B.
  • CUPED nie naprawia źle prowadzonego testu. Zaglądanie do wyników, nierówny podział ruchu i efekt nowości opisuje wpis pułapki testów A/B na obrazkach. Kontrolowany eksperyment jest najlepszym sposobem ustalania przyczyn zmian w zachowaniu użytkowników, ale wymaga mocy i poprawnej randomizacji (Kohavi i in., 2009).
  • Gdy pytasz nie „czy działa”, lecz „u kogo działa”, przejdź do wpisu modelowanie uplift.

Jak opisać w pracy

W Metodzie podaj: kowariant i okres, z którego pochodzi (przed losowaniem), sposób liczenia θ (na obu grupach razem), to, że korekta była zaplanowana przed startem, oraz wynik bez korekty jako analizę uzupełniającą. Lin (2013) zwraca uwagę, że najmocniejszym argumentem za wynikiem bez korekty jest przejrzystość i brak ryzyka „szukania” specyfikacji, która da istotność. Więcej przykładów analiz do prac z tej dziedziny zebraliśmy we wpisie statystyka w pracy z marketingu.

Przeprowadzono test A/B z losowym przydziałem 16000 klientów księgarni internetowej do wersji A (n = 8000) i B (n = 8000). Metryką główną były wydatki klienta w 2 tygodniach testu. Zgodnie z planem analizy efekt oszacowano z korektą CUPED (Deng i in., 2013): od wydatków w teście odjęto θ(X − M_X), gdzie X to wydatki w 4 tygodniach przed testem, a θ = cov(X, Y)/var(X) policzono na obu grupach łącznie. Różnicę średnich skorygowanych wydatków porównano testem t Welcha; jako analizę uzupełniającą podano wynik bez korekty.

W Wynikach podaj efekt w złotych z 95% CI dla obu analiz, korelację kowariantu z wynikiem i zwężenie przedziału. Tabela: analiza (bez korekty, CUPED), różnica średnich, 95% CI, p, szerokość przedziału.

Przykład reprodukowalny

Kod R: CUPED w bazowym R

Kod odtwarza wszystkie liczby z tekstu i pięć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy paletę i motyw, przepis 2 – funkcję symulującą klientów i dane, z których korzystają kolejne. CUPED i ANCOVA liczą funkcje cov(), var(), t.test() i lm(); odporny błąd standardowy – pakiet sandwich. Każdy przepis z rysunkiem kończy się nazwą wykresu (p1–p5), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów p1–p5, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne.

Losują przepisy 2 (dane i wybór 1000 klientów do rysunku: set.seed(613), rozrzut punktów seed = 613) i 4 (1000 testów: set.seed(6130)). Ziarna ustalono raz i nie zmieniano ich. Ręcznie ustalono: 16000 klientów, podział 1:1, tempo zamówień z rozkładu gamma (kształt 0.5, średnio 0.3 zamówienia tygodniowo), tygodniowe wahania tempa (odchylenie logarytmu 0.5), typową kwotę zamówienia 75 zł (odchylenie logarytmu 0.4 między klientami i 0.25 między zamówieniami), efekt +8% zamówień oraz długości okresów (4 tygodnie przed testem, 2 tygodnie testu, w symulacji 1–12 tygodni historii). Przepis 4 liczy się ok. 40 sekund, pozostałe – poniżej sekundy.

1. Paleta, motyw i schemat CUPED: Rysunek 1

Dane wejściowe: nic – grafika powstaje z prostokątów i tekstu w ggplot2. Na początku paleta Okabe–Ito (kol) i motyw motyw, z których korzystają kolejne przepisy.

Co odczytać: ten przepis nie wypisuje liczb; wyświetla rysunek 1.

R
# Rysunek 1. Schemat CUPED: okres przed testem – test – korekta (grafika z ggplot2, bez danych)
library(ggplot2)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw
kol <- c(niebieski = "#0072B2", cynober = "#D55E00", pomarancz = "#E69F00", zielony = "#009E73",
         jasny = "#DCEBF5", jasny2 = "#FBE3D3", szary = "grey60", ciemny = "grey20")
motyw <- theme_minimal(base_size = 13) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        strip.text = element_text(face = "bold", colour = "#0f1d3a"), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))

# Oś czasu: dni −28…−1 (okres przed testem) i 0…13 (test); pod nią trzy kroki analizy
okresy <- data.frame(od = c(-28, 0), do = c(0, 14), y = 3.0,
                     etykieta = c("4 tygodnie przed testem: wydatki X (zł)\nnikt jeszcze nie widzi zmiany",
                                  "2 tygodnie testu\nwydatki Y (zł)"),
                     wypelnienie = c("przed", "test"))
kroki <- data.frame(
  x = c(-19, 1, 21), y = 0.95,
  tytul = c("1. Losowanie (dzień 0)", "2. Korekta CUPED", "3. Porównanie A i B"),
  tekst = c("A: obecna strona\nB: sekcja „następny tom serii”\nX zmierzone przed losowaniem,\nwięc nie zależy od wersji",
            "θ = cov(X, Y) / var(X)\nY_cuped = Y − θ·(X − śr. X)\nusuwa część Y, którą\nprzewiduje historia klienta",
            "różnica średnich Y_cuped\n= ten sam efekt co dla Y,\nale mniejsza wariancja\n→ węższy przedział"))
p1 <- ggplot() +
  geom_rect(data = okresy, aes(xmin = od, xmax = do, ymin = y - 0.45, ymax = y + 0.45, fill = wypelnienie),
            colour = "grey40", linewidth = 0.4) +
  geom_text(data = okresy, aes((od + do) / 2, y, label = etykieta), size = 4.3, lineheight = 0.95) +
  geom_segment(aes(x = -29, xend = 15.5, y = 2.35, yend = 2.35), colour = "grey30",
               arrow = arrow(length = unit(0.2, "cm"), type = "closed")) +
  geom_text(aes(x = c(-28, 0, 14), y = 2.15, label = c("dzień −28", "dzień 0: start", "dzień 14")),
            size = 4, colour = "grey25", vjust = 1, hjust = c(0.1, 0.5, 0.5)) +
  geom_rect(data = kroki, aes(xmin = x - 8.4, xmax = x + 8.4, ymin = y - 0.62, ymax = y + 0.72),
            fill = "white", colour = c(kol[["szary"]], kol[["niebieski"]], kol[["szary"]]), linewidth = c(0.5, 1.1, 0.5)) +
  geom_text(data = kroki, aes(x - 7.9, y + 0.46, label = tytul), hjust = 0, fontface = "bold", size = 4.7,
            colour = "#0f1d3a") +
  geom_text(data = kroki, aes(x - 7.9, y - 0.17, label = tekst), hjust = 0, size = 4.3, lineheight = 0.95) +
  geom_curve(aes(x = -14, y = 2.55, xend = -4, yend = 1.7), curvature = 0.25, colour = kol[["niebieski"]],
             linewidth = 0.8, arrow = arrow(length = unit(0.22, "cm"), type = "closed")) +
  geom_curve(aes(x = 7, y = 2.55, xend = 6, yend = 1.7), curvature = -0.2, colour = kol[["niebieski"]],
             linewidth = 0.8, arrow = arrow(length = unit(0.22, "cm"), type = "closed")) +
  geom_segment(aes(x = c(-10.5, 9.5), xend = c(-7.5, 12.5), y = 0.95, yend = 0.95), colour = "grey40",
               arrow = arrow(length = unit(0.2, "cm"), type = "closed")) +
  annotate("text", x = 29, y = 3.0, hjust = 1, size = 4, colour = kol[["cynober"]], fontface = "bold",
           label = "Uwaga: kowariant X\nnie może pochodzić\nz okresu testu", lineheight = 0.95) +
  scale_fill_manual(values = c(przed = kol[["jasny"]], test = kol[["jasny2"]]), guide = "none") +
  coord_cartesian(xlim = c(-30, 30), ylim = c(0.22, 3.6), expand = FALSE) +
  labs(title = "CUPED w trzech krokach: historia klienta zmniejsza szum w wyniku testu",
       subtitle = "Fikcyjna księgarnia internetowa; X i Y to wydatki tego samego klienta w dwóch okresach") +
  motyw + theme(axis.text = element_blank(), axis.title = element_blank(),
                panel.grid.major = element_blank(), panel.grid.minor = element_blank())
p1   # zapis: ggsave("cuped-schemat.svg", p1, width = 10, height = 5.6)

2. Dane: wydatki przed testem i w teście – Rysunek 2

Dane wejściowe: nic – 16000 klientów losuje funkcja symuluj_klientow() (parametry ustalone ręcznie, set.seed(613)). Kod zapisuje plik CSV w katalogu roboczym.

Co odczytać: średnie, SD, odsetek zer i 99. centyl wydatków, korelację r, współczynnik θ i odsetek klientów poza osiami rysunku.

R
# Rysunek 2. Wydatki klienta przed testem i w czasie testu (dane symulowane)
# Dane wejściowe: paleta kol i motyw z przepisu 1.
# Fikcyjna księgarnia internetowa. Parametry ustalone ręcznie:
# tempo zamówień klienta ~ Gamma(kształt 0.5, średnio 0.3 zamówienia na tydzień) – stałe dla klienta,
# tygodniowe wahania tempa (log-SD 0.5), typowa kwota zamówienia klienta 75 zł (log-SD 0.4),
# wahania kwoty (log-SD 0.25), prawdziwy efekt wersji B: +8% zamówień w czasie testu.
symuluj_klientow <- function(n, tyg_przed = 4, efekt = 0.08) {
  tempo <- rgamma(n, shape = 0.5, rate = 0.5 / 0.3)        # zamówienia na tydzień
  kwota <- 75 * exp(0.4 * rnorm(n) - 0.08)                  # typowa kwota zamówienia (zł)
  grupa <- sample(rep(c("A", "B"), length.out = n))         # losowanie 1:1
  tydzien <- function(mnoznik = 1) {                        # wydatki w jednym tygodniu
    z <- rpois(n, tempo * exp(0.5 * rnorm(n) - 0.125) * mnoznik)
    z * kwota * exp(0.25 * rnorm(n) - 0.03125)               # 0 zamówień = 0 zł
  }
  przed <- sapply(seq_len(tyg_przed), function(i) tydzien())       # kolumna 1 = tydzień tuż przed startem
  m <- ifelse(grupa == "B", 1 + efekt, 1)
  data.frame(grupa, przed = round(przed, 2), tydz1 = round(tydzien(m), 2), tydz2 = round(tydzien(m), 2))
}
efekt_prawdziwy <- 0.08 * 0.3 * 2 * 75   # 8% z oczekiwanych wydatków w 2 tygodniach (0.6 zamówienia × 75 zł)

set.seed(613)                                  # ziarno ustalone raz, bez dobierania pod wynik
s <- symuluj_klientow(16000)
dane <- data.frame(klient = seq_len(nrow(s)), grupa = s$grupa,
                   wydatki_przed = rowSums(s[, paste0("przed.", 1:4)]),   # X: 4 tygodnie przed testem
                   wydatki_tydz1 = s$tydz1, wydatki_tydz2 = s$tydz2)
dane$wydatki_test <- dane$wydatki_tydz1 + dane$wydatki_tydz2               # Y: 2 tygodnie testu
write.csv(dane, "cuped-ksiegarnia-test.csv", row.names = FALSE)

c(klienci = nrow(dane), w_grupie_B = sum(dane$grupa == "B"), efekt_prawdziwy = efekt_prawdziwy)
opis <- sapply(dane[c("wydatki_przed", "wydatki_test")], function(v)
  c(srednia = mean(v), SD = sd(v), mediana = median(v), zero_proc = 100 * mean(v == 0), p99 = unname(quantile(v, .99))))
round(opis, 2)
r <- cor(dane$wydatki_przed, dane$wydatki_test)
theta <- cov(dane$wydatki_przed, dane$wydatki_test) / var(dane$wydatki_przed)
round(c(r = r, theta = theta, redukcja_wariancji_proc = 100 * r^2), 3)

# Wykres: losowe 1000 klientów (czytelność), linia CUPED i średnie Y w przedziałach X (wszyscy klienci)
set.seed(613)
proba <- dane[sample(nrow(dane), 1000), ]
dane$przedzial <- cut(dane$wydatki_przed, c(-1, 0, 50, 100, 150, 200, 300, 400, 600, Inf))
srednie <- aggregate(cbind(x = wydatki_przed, y = wydatki_test) ~ przedzial, data = dane, FUN = mean)
srednie <- srednie[srednie$x < 600, ]
mx <- mean(dane$wydatki_przed); my <- mean(dane$wydatki_test)
c(poza_osiami_proc = round(100 * mean(dane$wydatki_przed > 600 | dane$wydatki_test > 400), 1))
p2 <- ggplot(proba, aes(wydatki_przed, wydatki_test)) +
  geom_point(aes(colour = "pojedynczy klient (losowe 1000)", shape = "pojedynczy klient (losowe 1000)"),
             alpha = 0.35, size = 1.6, position = position_jitter(width = 2, height = 2, seed = 613)) +
  geom_abline(intercept = my - theta * mx, slope = theta, colour = kol[["niebieski"]], linewidth = 1.1) +
  geom_point(data = srednie, aes(x, y, colour = "średnia Y w przedziale X (wszyscy)",
                                 shape = "średnia Y w przedziale X (wszyscy)"), size = 3.4) +
  annotate("text", x = 430, y = my + theta * (430 - mx) + 45, size = 4, colour = kol[["niebieski"]],
           fontface = "bold", label = sprintf("nachylenie θ = %.2f\nr = %.2f", theta, r)) +
  scale_colour_manual(values = c("pojedynczy klient (losowe 1000)" = "grey45",
                                 "średnia Y w przedziale X (wszyscy)" = kol[["cynober"]]), name = NULL) +
  scale_shape_manual(values = c("pojedynczy klient (losowe 1000)" = 16,
                                "średnia Y w przedziale X (wszyscy)" = 18), name = NULL) +
  coord_cartesian(xlim = c(0, 600), ylim = c(0, 400)) +
  labs(x = "Wydatki w 4 tygodniach przed testem, X (zł)", y = "Wydatki w 2 tygodniach testu, Y (zł)",
       title = "Kto wydawał dużo przed testem, wydaje dużo w teście",
       subtitle = sprintf("%d klientów; niebieska prosta: Y przewidywane z X (nachylenie θ)", nrow(dane))) + motyw
p2   # zapis: ggsave("cuped-wydatki-przed-i-w-tescie.svg", p2, width = 10, height = 6)
Wynik w R
        klienci      w_grupie_B efekt_prawdziwy 
        16000.0          8000.0             3.6 
          wydatki_przed wydatki_test
srednia           89.98        47.06
SD               175.05       112.43
mediana            0.00         0.00
zero_proc         54.74        67.86
p99              830.09       493.18
                      r                   theta redukcja_wariancji_proc 
                  0.557                   0.358                  31.051 
poza_osiami_proc 
             3.3 

3. CUPED, ANCOVA i wariant z interakcją: Rysunek 3

Dane wejściowe: dane, theta i efekt_prawdziwy z przepisu 2.

Co odczytać: średnią i SD przed korektą i po niej, procent pozostałej wariancji, efekt z 95% CI i p w czterech analizach, średnie grup oraz liczbę klientów, która bez korekty dałaby tę samą precyzję.

R
# Rysunek 3. Efekt wersji B: zwykła różnica średnich, CUPED i ANCOVA (te same dane)
# Dane wejściowe: dane, theta, efekt_prawdziwy, kol i motyw z przepisów 1–2.
library(sandwich)                                     # odporne błędy standardowe (wariant z interakcją)
X <- dane$wydatki_przed; Y <- dane$wydatki_test; B <- dane$grupa == "B"

# CUPED: Y_cuped = Y − θ (X − średnia X); θ liczone na wszystkich klientach razem (A i B)
dane$wydatki_cuped <- Y - theta * (X - mean(X))
round(c(sredniaY = mean(Y), sredniaY_cuped = mean(dane$wydatki_cuped),
        SD_Y = sd(Y), SD_Y_cuped = sd(dane$wydatki_cuped)), 2)
round(c(proc_wariancji_po_korekcie = 100 * var(dane$wydatki_cuped) / var(Y)), 1)

roznica <- function(y) {                              # różnica średnich B − A z 95% CI (test Welcha)
  t <- t.test(y[B], y[!B])
  c(efekt = unname(-diff(t$estimate)), dolna = t$conf.int[1], gorna = t$conf.int[2], p = t$p.value)
}
m_ancova <- lm(wydatki_test ~ grupa + wydatki_przed, data = dane)
dane$xc <- X - mean(X)                                # wariant z interakcją grupa × X i odpornym SE (HC2)
m_lin <- lm(wydatki_test ~ grupa * xc, data = dane)
se_lin <- sqrt(diag(vcovHC(m_lin, type = "HC2")))[["grupaB"]]
wyniki <- rbind(
  "bez korekty (różnica średnich Y)" = roznica(Y),
  "CUPED (różnica średnich Y_cuped)" = roznica(dane$wydatki_cuped),
  "ANCOVA: lm(Y ~ grupa + X)" = c(coef(m_ancova)[["grupaB"]], confint(m_ancova)["grupaB", ],
                                  summary(m_ancova)$coefficients["grupaB", 4]),
  "ANCOVA z interakcją, odporne SE" = c(coef(m_lin)[["grupaB"]], coef(m_lin)[["grupaB"]] + c(-1, 1) * qnorm(.975) * se_lin,
                                        2 * pnorm(-abs(coef(m_lin)[["grupaB"]] / se_lin))))
wyniki <- data.frame(metoda = rownames(wyniki), wyniki, row.names = NULL)
wyniki$szerokosc <- wyniki$gorna - wyniki$dolna
wyniki$wzrost_proc <- 100 * wyniki$efekt / mean(Y[!B])          # efekt względem średniej w grupie A
print(transform(wyniki, efekt = round(efekt, 2), dolna = round(dolna, 2), gorna = round(gorna, 2),
                p = round(p, 4), szerokosc = round(szerokosc, 2), wzrost_proc = round(wzrost_proc, 1)), row.names = FALSE)
round(c(srednia_A = mean(Y[!B]), srednia_B = mean(Y[B]),
        X_A = mean(X[!B]), X_B = mean(X[B]),
        stosunek_szerokosci = wyniki$szerokosc[2] / wyniki$szerokosc[1],
        rownowazna_liczba_klientow = nrow(dane) * var(dane$wydatki_cuped) / var(Y)), 2)

wyniki$metoda <- factor(wyniki$metoda, levels = rev(wyniki$metoda))
wyniki$rodzaj <- ifelse(grepl("bez", wyniki$metoda), "bez danych sprzed testu", "z danymi sprzed testu")
p3 <- ggplot(wyniki, aes(efekt, metoda, colour = rodzaj, shape = rodzaj)) +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0.25, linewidth = 1, orientation = "y") +
  geom_point(size = 3.6) +
  geom_vline(xintercept = 0, colour = "grey40") +
  geom_vline(xintercept = efekt_prawdziwy, colour = "grey30", linetype = "dashed") +
  annotate("text", x = efekt_prawdziwy, y = 4.5, label = sprintf("prawdziwy efekt: %.2f zł", efekt_prawdziwy),
           hjust = -0.05, size = 3.8, colour = "grey25") +
  geom_text(aes(x = gorna, label = gsub("-", "\u2212", sprintf("%.2f [%.2f, %.2f]\nszerokość %.2f zł", efekt, dolna, gorna, szerokosc))),
            hjust = -0.12, size = 3.7, lineheight = 0.95, show.legend = FALSE) +
  scale_colour_manual(values = c("bez danych sprzed testu" = kol[["cynober"]],
                                 "z danymi sprzed testu" = kol[["niebieski"]]), name = NULL) +
  scale_shape_manual(values = c("bez danych sprzed testu" = 17, "z danymi sprzed testu" = 16), name = NULL) +
  scale_x_continuous(breaks = seq(-2, 10, 2), labels = function(v) gsub("-", "\u2212", v)) +
  coord_cartesian(xlim = c(-2.5, 11), ylim = c(0.7, 4.6)) +
  labs(x = "Różnica wydatków w teście, B − A (zł na klienta), z 95% CI", y = NULL,
       title = "Ten sam test, cztery analizy: dane sprzed testu zwężają przedział",
       subtitle = "16000 klientów; przerywana linia: efekt ukryty w danych symulowanych") + motyw
p3   # zapis: ggsave("cuped-przedzialy.svg", p3, width = 10, height = 5.6)
Wynik w R
      sredniaY sredniaY_cuped           SD_Y     SD_Y_cuped 
         47.06          47.06         112.43          93.36 
proc_wariancji_po_korekcie 
                      68.9 
                           metoda efekt dolna gorna      p szerokosc
 bez korekty (różnica średnich Y)  3.30 -0.18  6.79 0.0633      6.97
 CUPED (różnica średnich Y_cuped)  2.82 -0.07  5.71 0.0562      5.79
        ANCOVA: lm(Y ~ grupa + X)  2.82 -0.07  5.71 0.0562      5.79
  ANCOVA z interakcją, odporne SE  2.82 -0.07  5.70 0.0557      5.77
 wzrost_proc
         7.3
         6.2
         6.2
         6.2
                 srednia_A                  srednia_B 
                     45.41                      48.71 
                       X_A                        X_B 
                     89.31                      90.66 
       stosunek_szerokosci rownowazna_liczba_klientow 
                      0.83                   11031.91 

4. Symulacja 1000 testów: Rysunek 4

Dane wejściowe: funkcja symuluj_klientow() i efekt_prawdziwy z przepisu 2; losowanie od set.seed(6130). Liczy się ok. 40 sekund.

Co odczytać: dla każdego wariantu kowariantu: średnią korelację, średni efekt, procent wariancji, moc z błędem Monte Carlo, pokrycie 95% CI i równoważną liczbę dni testu.

R
# Rysunek 4. 1000 symulowanych testów: im wyższa korelacja przed–po, tym mniej klientów potrzeba
# Dane wejściowe: funkcja symuluj_klientow(), efekt_prawdziwy, kol i motyw z przepisów 1–2.
# Każdy test: 16000 nowych klientów, 12 tygodni historii, ten sam prawdziwy efekt (+8% zamówień).
analiza <- function(y, x, B) {                       # efekt B − A po korekcie CUPED kowariantem x
  if (!is.null(x)) y <- y - cov(x, y) / var(x) * (x - mean(x))
  ef <- mean(y[B]) - mean(y[!B])
  se <- sqrt(var(y[B]) / sum(B) + var(y[!B]) / sum(!B))
  c(efekt = ef, se = se, istotny = abs(ef / se) > qnorm(.975),
    pokrywa = abs(ef - efekt_prawdziwy) < qnorm(.975) * se)
}
set.seed(6130)                                       # osobne ziarno symulacji, ustalone raz
R <- 1000
wyniki <- vector("list", R)
for (i in seq_len(R)) {
  s <- symuluj_klientow(16000, tyg_przed = 12)
  P <- as.matrix(s[, paste0("przed.", 1:12)])        # kolumna 1 = tydzień tuż przed startem
  y <- s$tydz1 + s$tydz2; B <- s$grupa == "B"
  kowarianty <- list("bez korekty" = NULL,
                     "X losowo przypisane (r ≈ 0)" = sample(rowSums(P[, 1:4])),   # historia innego klienta
                     "1 tydzień historii" = P[, 1], "2 tygodnie" = rowSums(P[, 1:2]),
                     "4 tygodnie" = rowSums(P[, 1:4]), "8 tygodni" = rowSums(P[, 1:8]),
                     "12 tygodni" = rowSums(P),
                     "BŁĄD: 1. tydzień testu" = s$tydz1)                # kowariant zmierzony po starcie
  wyniki[[i]] <- t(sapply(kowarianty, function(x)
    c(r = if (is.null(x)) NA else cor(x, y), analiza(y, x, B))))
}
sym <- data.frame(test = rep(seq_len(R), each = length(kowarianty)),
                  wariant = factor(rep(names(kowarianty), R), levels = names(kowarianty)),
                  do.call(rbind, wyniki), row.names = NULL)
podsum <- do.call(rbind, lapply(split(sym, sym$wariant), function(d) data.frame(
  wariant = d$wariant[1], r = mean(d$r), srednia_efektu = mean(d$efekt), sd_efektu = sd(d$efekt),
  wariancja_proc = 100 * var(d$efekt) / var(sym$efekt[sym$wariant == "bez korekty"]),
  moc_proc = 100 * mean(d$istotny), blad_MC_moc = 100 * sqrt(mean(d$istotny) * (1 - mean(d$istotny)) / nrow(d)),
  pokrycie_proc = 100 * mean(d$pokrywa))))
podsum$dni_zamiast_14 <- 14 * podsum$wariancja_proc / 100   # gdy klienci napływają w stałym tempie
print(transform(podsum, r = round(r, 3), srednia_efektu = round(srednia_efektu, 2), sd_efektu = round(sd_efektu, 2),
                wariancja_proc = round(wariancja_proc, 1), moc_proc = round(moc_proc, 1),
                blad_MC_moc = round(blad_MC_moc, 1), pokrycie_proc = round(pokrycie_proc, 1),
                dni_zamiast_14 = round(dni_zamiast_14, 1)), row.names = FALSE)

# Panel A: ile procent klientów (lub dni zbierania danych) potrzeba do tej samej precyzji – teoria 1 − r² i symulacja
ok <- podsum[!podsum$wariant %in% c("bez korekty", "BŁĄD: 1. tydzień testu"), ]
ok$etykieta <- sub(" historii", "", sub("X losowo przypisane \\(r ≈ 0\\)", "losowe X", ok$wariant))
ok$hj <- c(-0.25, -0.15, -0.15, -0.15, -0.15, 1.15); ok$vj <- c(0.5, -0.6, -0.6, -0.6, -0.6, 1.6)   # położenie etykiet
krzywa <- data.frame(r = seq(0, 0.95, 0.01)); krzywa$proc <- 100 * (1 - krzywa$r^2)
pA <- ggplot(krzywa, aes(r, proc)) +
  geom_line(aes(linetype = "teoria: 100 × (1 − r²)"), colour = kol[["szary"]], linewidth = 1) +
  geom_point(data = ok, aes(r, wariancja_proc, shape = "symulacja: 1000 testów"), colour = kol[["niebieski"]], size = 3.2) +
  geom_text(data = ok, aes(r, wariancja_proc, label = etykieta, hjust = hj, vjust = vj),
            colour = kol[["niebieski"]], size = 3.5) +
  scale_y_continuous(limits = c(0, 105), breaks = seq(0, 100, 20),
                     sec.axis = sec_axis(~ . * 14 / 100, name = "Dni testu zamiast 14", breaks = seq(0, 14, 2))) +
  scale_x_continuous(breaks = seq(0, 0.9, 0.3), labels = c("0", ".3", ".6", ".9")) +
  scale_linetype_manual(values = "solid", name = NULL) + scale_shape_manual(values = 16, name = NULL) +
  labs(x = "Korelacja X z wynikiem testu, r", y = "Klienci potrzebni do tej samej precyzji (%)",
       title = "A. Ile danych oszczędza CUPED") + motyw + theme(legend.direction = "vertical")
# Panel B: moc testu (odsetek 1000 testów z p < .05) z błędem Monte Carlo
mocdf <- podsum[podsum$wariant != "BŁĄD: 1. tydzień testu", ]
mocdf$wariant <- factor(mocdf$wariant, levels = rev(levels(droplevels(mocdf$wariant))))
mocdf$rodzaj <- ifelse(mocdf$wariant %in% c("bez korekty", "X losowo przypisane (r ≈ 0)"), "bez użytecznej historii", "CUPED z historią")
pB <- ggplot(mocdf, aes(moc_proc, wariant, colour = rodzaj, shape = rodzaj)) +
  geom_errorbar(aes(xmin = moc_proc - 1.96 * blad_MC_moc, xmax = moc_proc + 1.96 * blad_MC_moc),
                width = 0.3, orientation = "y") +
  geom_point(size = 3.2) +
  geom_text(aes(x = moc_proc + 1.96 * blad_MC_moc + 1, label = sprintf("%.1f%%", moc_proc)), hjust = 0,
            size = 3.5, show.legend = FALSE) +
  scale_colour_manual(values = c("bez użytecznej historii" = kol[["cynober"]], "CUPED z historią" = kol[["niebieski"]]), name = NULL) +
  scale_shape_manual(values = c("bez użytecznej historii" = 17, "CUPED z historią" = 16), name = NULL) +
  scale_x_continuous(limits = c(40, 95), breaks = seq(40, 90, 10)) +
  labs(x = "Moc: testy z p < .05 (%), ± 1.96 błędu MC", y = NULL, title = "B. Moc przy 16000 klientów") +
  motyw + theme(legend.direction = "vertical")
library(patchwork)
p4 <- pA + pB + plot_annotation(
  title = "1000 testów z tym samym efektem (+8% zamówień): korekta zależy od korelacji",
  subtitle = "Dłuższa historia → wyższe r → mniej klientów lub krótszy test; losowe X nie szkodzi, ale nie pomaga",
  theme = motyw)
p4   # zapis: ggsave("cuped-symulacja-korelacja.svg", p4, width = 10, height = 6.4)
Wynik w R
                     wariant     r srednia_efektu sd_efektu wariancja_proc
                 bez korekty    NA           3.61      1.71          100.0
 X losowo przypisane (r ≈ 0) 0.000           3.61      1.71          100.0
          1 tydzień historii 0.393           3.65      1.55           82.0
                  2 tygodnie 0.485           3.64      1.46           73.0
                  4 tygodnie 0.563           3.64      1.39           65.9
                   8 tygodni 0.620           3.64      1.30           57.6
                  12 tygodni 0.643           3.64      1.27           54.8
      BŁĄD: 1. tydzień testu 0.814           1.26      0.97           32.4
 moc_proc blad_MC_moc pokrycie_proc dni_zamiast_14
     58.5         1.6          94.9           14.0
     58.4         1.6          94.9           14.0
     67.2         1.5          95.0           11.5
     70.5         1.4          95.1           10.2
     74.7         1.4          95.1            9.2
     78.7         1.3          95.3            8.1
     80.9         1.2          95.1            7.7
     25.2         1.4          33.7            4.5

5. Pułapka – kowariant z okresu testu: Rysunek 5

Dane wejściowe: sym (1000 testów z przepisu 4). Ten przepis nie losuje.

Co odczytać: średni efekt i odsetek przedziałów obejmujących prawdziwy efekt (z błędem Monte Carlo) bez korekty, z poprawnym i z błędnym kowariantem.

R
# Rysunek 5. Pułapka: kowariant zmierzony już w czasie testu „zjada” efekt
# Dane wejściowe: sym, podsum (1000 testów z przepisu 4), efekt_prawdziwy, kol i motyw. Ten przepis nie losuje.
wybrane <- c("bez korekty", "4 tygodnie", "BŁĄD: 1. tydzień testu")
d5 <- sym[sym$wariant %in% wybrane, ]
d5$panel <- factor(c("bez korekty" = "Bez korekty",
                     "4 tygodnie" = "CUPED: X = 4 tygodnie przed testem",
                     "BŁĄD: 1. tydzień testu" = "Błąd: X = wydatki z 1. tygodnia testu")[as.character(d5$wariant)],
                   levels = c("Bez korekty", "CUPED: X = 4 tygodnie przed testem", "Błąd: X = wydatki z 1. tygodnia testu"))
opis5 <- aggregate(cbind(efekt, pokrywa) ~ panel, data = d5, FUN = mean)
opis5$blad_MC_pokrycia <- sqrt(opis5$pokrywa * (1 - opis5$pokrywa) / 1000)
print(transform(opis5, efekt = round(efekt, 2), pokrywa = round(100 * pokrywa, 1),
                blad_MC_pokrycia = round(100 * blad_MC_pokrycia, 1)), row.names = FALSE)
opis5$etykieta <- sprintf("średnio %.2f zł\nCI obejmuje prawdziwy efekt: %.1f%%", opis5$efekt, 100 * opis5$pokrywa)
p5 <- ggplot(d5, aes(efekt, fill = panel)) +
  geom_histogram(binwidth = 0.4, boundary = 0, colour = "white", linewidth = 0.2) +
  geom_vline(xintercept = efekt_prawdziwy, linetype = "dashed", colour = "grey20") +
  geom_vline(xintercept = 0, colour = "grey50") +
  geom_text(data = opis5, aes(x = 6.2, y = Inf, label = etykieta), hjust = 0, vjust = 1.4, size = 3.6,
            lineheight = 0.95, inherit.aes = FALSE) +
  facet_wrap(~ panel, ncol = 1) +
  scale_fill_manual(values = c(kol[["cynober"]], kol[["niebieski"]], kol[["szary"]]), guide = "none") +
  scale_x_continuous(breaks = seq(-2, 10, 2), labels = function(v) gsub("-", "−", v)) +
  coord_cartesian(xlim = c(-2.5, 11)) +
  labs(x = "Oszacowany efekt wersji B (zł na klienta)", y = "Liczba testów",
       title = "Kowariant z okresu testu przesuwa wynik do zera",
       subtitle = sprintf("Te same 1000 testów; przerywana linia: prawdziwy efekt %.2f zł", efekt_prawdziwy)) + motyw
p5   # zapis: ggsave("cuped-pulapka-kowariant-z-testu.svg", p5, width = 10, height = 6.6)
Wynik w R
                                 panel efekt pokrywa blad_MC_pokrycia
                           Bez korekty  3.61    94.9              0.7
    CUPED: X = 4 tygodnie przed testem  3.64    95.1              0.7
 Błąd: X = wydatki z 1. tygodnia testu  1.26    33.7              1.5

6. Sprawdzenie palety przy zaburzeniach widzenia barw

Dane wejściowe: pary kolorów użyte na rysunkach.

Co odczytać: odległość barw ΔE przy typowym widzeniu i w symulacji deuteranopii i protanopii; para czerwony–zielony dla porównania.

R
# Czy paleta przetrwa zaburzenia widzenia barw? Symulacja w pakiecie colorspace
library(colorspace)
pary <- list("cynober – niebieski (bez korekty / CUPED)" = c("#D55E00", "#0072B2"),
             "niebieski – szary (CUPED / błąd; linia / punkty)" = c("#0072B2", "#999999"),
             "cynober – szary (bez korekty / błąd; średnie / punkty)" = c("#D55E00", "#999999"),
             "jasnoniebieski – jasnopomarańczowy (okresy na schemacie)" = c("#DCEBF5", "#FBE3D3"),
             "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
roznica <- function(k) {           # odległość barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(k), "LAB")); sqrt(sum((lab[1, ] - lab[2, ])^2))
}
round(t(sapply(pary, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(k)),
                                   protanopia = roznica(protan(k))))), 1)
Wynik w R
                                                         widzenie_typowe
cynober – niebieski (bez korekty / CUPED)                          114.6
niebieski – szary (CUPED / błąd; linia / punkty)                    44.9
cynober – szary (bez korekty / błąd; średnie / punkty)              77.2
jasnoniebieski – jasnopomarańczowy (okresy na schemacie)            19.4
czerwony – zielony (do unikania)                                   121.7
                                                         deuteranopia
cynober – niebieski (bez korekty / CUPED)                       108.3
niebieski – szary (CUPED / błąd; linia / punkty)                 48.9
cynober – szary (bez korekty / błąd; średnie / punkty)           62.9
jasnoniebieski – jasnopomarańczowy (okresy na schemacie)         18.9
czerwony – zielony (do unikania)                                 21.1
                                                         protanopia
cynober – niebieski (bez korekty / CUPED)                      91.9
niebieski – szary (CUPED / błąd; linia / punkty)               40.6
cynober – szary (bez korekty / błąd; średnie / punkty)         56.0
jasnoniebieski – jasnopomarańczowy (okresy na schemacie)       16.0
czerwony – zielony (do unikania)                               31.6

Bibliografia oprogramowania

Liczby na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (losowanie, kowariancja, test t Welcha, regresja liniowa – pakiety base i stats). Odporny błąd standardowy policzono pakietem sandwich. Rysunki wykonano w ggplot2 (panele – patchwork); pliki SVG zapisano pakietem svglite, a paletę sprawdzono w symulacji zaburzeń widzenia barw pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots (R package version 1.3.2) [Computer software]. https://doi.org/10.32614/CRAN.package.patchwork
  4. sandwich (wersja 3.1.1): Zeileis, A., Köll, S., & Graham, N. (2020). Various versatile variances: An object-oriented implementation of clustered covariances in R. Journal of Statistical Software, 95(1), 1–36. https://doi.org/10.18637/jss.v095.i01
  5. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1). https://doi.org/10.18637/jss.v096.i01
  6. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Kowariant zmierzony po starcie testu. Obciąża efekt w stronę zera, choć przedział wygląda na wąski (rysunek 5).
  • Szukanie kowariantu po zobaczeniu wyników. Kilka wersji korekty i wybór tej z najmniejszym p to ukryte wielokrotne testowanie. Kowariant wpisz do planu przed startem.
  • Raportowanie średnich Ycuped jako „wydatków”. Skorygowane wartości służą do porównania grup. Średnie wydatki podaj z surowych danych.
  • Oczekiwanie istotności „z automatu”. Przy r = .56 korekta zastępuje ok. jedną trzecią klientów – nie zamienia za małego testu w duży (rysunek 3).
  • Korekta, gdy grupy nie były losowane. Przy grupach istniejących ANCOVA, a więc i CUPED, nie „wyrównuje” różnic – zob. hasło ANCOVA, sekcja o grupach nierandomizowanych.

Pomoc przy planie i analizie takiego testu: analizy statystyczne dla studentów.

Najczęstsze pytania

Co to jest CUPED w testach A/B?

CUPED (Controlled-experiment Using Pre-Experiment Data) to korekta wyniku testu A/B o dane tego samego użytkownika sprzed testu, np. wydatki z poprzednich tygodni. Od wyniku odejmuje się θ(X − MX), gdzie θ = cov(X, Y)/var(X). Efekt pozostaje ten sam, a wariancja spada, więc test jest czulszy (Deng i in., 2013).

Czym CUPED różni się od ANCOVA?

Przy jednym kowariancie i θ liczonym na obu grupach razem CUPED daje ten sam efekt i przedział co ANCOVA, czyli lm(Y ~ grupa + X). W przykładzie obie metody dały 2.82 zł, 95% CI [−0.07, 5.71]. CUPED to po prostu zapis ANCOVA wygodny przy milionach użytkowników: najpierw korekta, potem zwykłe porównanie średnich.

O ile CUPED skraca test A/B?

Mniej więcej do 1 − r2 pierwotnej liczby użytkowników, gdzie r to korelacja kowariantu z wynikiem. W symulacji przy r = .56 zostało 65.9% wariancji, czyli ok. 9.2 dnia zamiast 14, jeśli użytkownicy napływają w stałym tempie. Przy r poniżej .3 zysk jest niewielki.

Jaką zmienną wybrać jako kowariant w CUPED?

Najlepiej tę samą metrykę zmierzoną przed testem, np. wydatki z ostatnich 4–8 tygodni. Kowariant musi powstać przed losowaniem i nie może zależeć od wersji. Wydatki z pierwszego tygodnia testu obniżyły w symulacji średni efekt z 3.60 do 1.26 zł, a 95% CI obejmowały prawdziwy efekt tylko w 33.7% testów.

Czy CUPED działa dla konwersji i nowych użytkowników?

Dla metryki 0/1 (konwersja) wzór jest ten sam, a zysk zależy od tego, jak dobrze historia przewiduje konwersję. Nowi użytkownicy nie mają historii: wpisz im X = 0 i dodaj wskaźnik „nowy użytkownik” albo analizuj ich osobno. Im więcej nowych użytkowników, tym mniejsza redukcja wariancji.

Powiązane hasła

Przeczytaj też

Planujesz test A/B do pracy?

Pomożemy dobrać metrykę i kowariant, policzyć liczebność z uwzględnieniem korekty, przeprowadzić analizę w R i opisać wyniki tak, żebyś umiał(a) je obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Borm, G. F., Fransen, J., & Lemmens, W. A. J. G. (2007). A simple sample size formula for analysis of covariance in randomized clinical trials. Journal of Clinical Epidemiology, 60(12), 1234–1238. https://doi.org/10.1016/j.jclinepi.2007.02.006
  2. Deng, A., Xu, Y., Kohavi, R., & Walker, T. (2013). Improving the sensitivity of online controlled experiments by utilizing pre-experiment data. In Proceedings of the Sixth ACM International Conference on Web Search and Data Mining (pp. 123–132). ACM. https://doi.org/10.1145/2433396.2433413
  3. Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). Controlled experiments on the web: Survey and practical guide. Data Mining and Knowledge Discovery, 18(1), 140–181. https://doi.org/10.1007/s10618-008-0114-1 ● Otwarty dostęp
  4. Lin, W. (2013). Agnostic notes on regression adjustments to experimental data: Reexamining Freedman’s critique. The Annals of Applied Statistics, 7(1), 295–318. https://doi.org/10.1214/12-aoas583 ● Otwarty dostęp
  5. Xie, H., & Aurisset, J. (2016). Improving the sensitivity of online controlled experiments: Case studies at Netflix. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 645–654). ACM. https://doi.org/10.1145/2939672.2939733 ● Otwarty dostęp
  6. Yang, L., & Tsiatis, A. A. (2001). Efficiency study of estimators for a treatment effect in a pretest–posttest trial. The American Statistician, 55(4), 314–321. https://doi.org/10.1198/000313001753272466

Cytowania BibTeX

@article{borm2007simple, author={Borm, George F. and Fransen, Jaap and Lemmens, Wim A. J. G.}, title={{A simple sample size formula for analysis of covariance in randomized clinical trials}}, journal={Journal of Clinical Epidemiology}, year={2007}, volume={60}, number={12}, pages={1234--1238}, doi={10.1016/j.jclinepi.2007.02.006}}
@inproceedings{deng2013improving, author={Deng, Alex and Xu, Ya and Kohavi, Ron and Walker, Toby}, title={{Improving the sensitivity of online controlled experiments by utilizing pre-experiment data}}, booktitle={Proceedings of the Sixth ACM International Conference on Web Search and Data Mining}, year={2013}, pages={123--132}, publisher={ACM}, doi={10.1145/2433396.2433413}}
@article{kohavi2009controlled, author={Kohavi, Ron and Longbotham, Roger and Sommerfield, Dan and Henne, Randal M.}, title={{Controlled experiments on the web: Survey and practical guide}}, journal={Data Mining and Knowledge Discovery}, year={2009}, volume={18}, number={1}, pages={140--181}, doi={10.1007/s10618-008-0114-1}}
@article{lin2013agnostic, author={Lin, Winston}, title={{Agnostic notes on regression adjustments to experimental data: Reexamining Freedman’s critique}}, journal={The Annals of Applied Statistics}, year={2013}, volume={7}, number={1}, pages={295--318}, doi={10.1214/12-aoas583}}
@inproceedings{xie2016improving, author={Xie, Huizhi and Aurisset, Juliette}, title={{Improving the sensitivity of online controlled experiments: Case studies at Netflix}}, booktitle={Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining}, year={2016}, pages={645--654}, publisher={ACM}, doi={10.1145/2939672.2939733}}
@article{yang2001efficiency, author={Yang, Li and Tsiatis, Anastasios A.}, title={{Efficiency study of estimators for a treatment effect in a pretest–posttest trial}}, journal={The American Statistician}, year={2001}, volume={55}, number={4}, pages={314--321}, doi={10.1198/000313001753272466}}
R