Statystyka · Marketing

Eksperyment w sklepach stacjonarnych – losowanie sklepów, ICC i moc testu

Fikcyjna sieć 36 sklepów z artykułami do domu testuje nową ekspozycję przy kasie. Pokazujemy, dlaczego losuje się sklepy, a nie klientów, ile informacji niosą paragony przy ICC = .043, jak dobór w pary i średni paragon sprzed testu podnoszą moc i dlaczego regresja na paragonach daje fałszywe alarmy – sześć rysunków z kodem R, podpisy APA i zdania do pracy.

Strona główna / Blog / Eksperyment w sklepach
W skrócie: W eksperymencie w sklepach stacjonarnych losujesz całe sklepy, więc niezależnych obserwacji jest tyle, ile sklepów, a nie paragonów. W przykładzie 20 549 paragonów z 36 sklepów przy ICC = .043 niosło tyle informacji co ok. 766 niezależnych, a regresja na paragonach w symulacji alarmowała w 72% testów bez efektu. Losuj sklepy w parach podobnych wielkością, analizuj na poziomie sklepów i dodaj średni paragon sprzed testu – w przykładzie dało to +4.29 zł, 95% CI [1.50, 7.08], przy prawdziwym efekcie +4 zł.

Przykład: 36 sklepów i nowa ekspozycja przy kasie

Fikcyjna sieć sklepów z artykułami do domu i dekoracjami ma 36 sklepów stacjonarnych. Dział handlowy przygotował nową ekspozycję przy kasie: niski regał ze świecami, podkładkami i drobnymi dekoracjami do 30 zł. Pytanie zarządu: o ile nowa ekspozycja podnosi średnią wartość paragonu i czy warto ją wprowadzić we wszystkich sklepach?

Test trwał 4 tygodnie. Mamy obroty i średni paragon każdego sklepu z 8 tygodni przed testem oraz losową próbkę 20% paragonów z czasu testu: 20 549 paragonów, od 313 do 768 na sklep, średnio 95.65 zł (SD = 57.54 zł).

Dane są fikcyjne i znamy prawdę: ekspozycja podnosi paragon o 4 zł. Parametry ustawiliśmy ręcznie (lista przy kodzie). Po pierwszym uruchomieniu zmieniliśmy dwie rzeczy. Wzór obrotów sprzed testu zamieniliśmy z liniowego na logarytmiczny, bo dawał sklep z obrotami 4.1 tys. zł tygodniowo. Próbkę paragonów zwiększyliśmy z 5% do 20% (w symulacjach mocy odpowiednio z 143 do 570 paragonów na sklep): przy 5% błąd średniej sklepu zasłaniał różnice między sklepami, a cała sieć i tak ma komplet paragonów. Ziarna 720 nie zmienialiśmy. Dane pobierzesz jako eksperyment-w-sklepach-sklepy.csv (36 sklepów) i eksperyment-w-sklepach-paragony.csv (paragony).

Dlaczego losujemy sklepy, a nie klientów? Regał stoi przy kasie i widzi go każdy klient sklepu, więc nie da się pokazać go co drugiemu. Jednostką losowania jest sklep – to randomizacja klastrowa, ta sama logika co w geo-eksperymencie w regionach. Tamten wpis dotyczy tygodniowej sprzedaży regionów; tu pracujemy na paragonach, czyli na danych dwupoziomowych: paragony w sklepach. O efekcie promocji w danych obserwacyjnych z sieci sklepów piszemy we wpisie o promocjach i modelu mieszanym; tutaj sklep dostaje ekspozycję losowo.

Rysunek 1: losowanie sklepów w parach

Sklepy bardzo różnią się wielkością: najmniejszy miał przed testem 28.4 tys. zł obrotów tygodniowo, największy 101.0 tys. zł. Przy prostym losowaniu 18 z 36 sklepów może się zdarzyć, że duże sklepy trafią głównie do jednej grupy. Dlatego sklepy dobieramy w pary: sortujemy je według obrotów sprzed testu, łączymy kolejne dwa w parę i w każdej parze rzutem monetą wybieramy sklep z nową ekspozycją. To randomizacja blokowa z blokami po dwa.

Grafika: 18 ramek z parami sklepów ułożonych od największych do najmniejszych obrotów sprzed testu. W każdej parze dwa prostokąty: pomarańczowy E (nowa ekspozycja) i niebieski K (kontrola) z numerem sklepu i obrotami, np. para 1: S30 101.0 kontrola i S23 100.5 ekspozycja, para 18: S15 28.9 kontrola i S33 28.4 ekspozycja. Średnie obroty: ekspozycja 66.8, kontrola 66.1 tys. zł
Rysunek 1. Schemat losowania 36 sklepów w 18 parach podobnych obrotami sprzed testu. Grafika: R, pakiet ggplot2 (dane fikcyjne, set.seed(720)).

Co widać. W parze 1 są dwa największe sklepy (101.0 i 100.5 tys. zł), w parze 18 – dwa najmniejsze. Średnie obroty grup są prawie równe: 66.8 tys. zł w sklepach z ekspozycją i 66.1 w kontrolnych. Przy 36 sklepach takiej równowagi nie zapewni samo prawo wielkich liczb.

Jak może zmylić. Para podobna obrotami nie musi być podobna klientelą – pary nie wyrównają wszystkiego. W analizie trzeba je uwzględnić (różnice w parach albo para jako czynnik).

Podpis do pracy:

Rysunek 1. Schemat przydziału sklepów do warunków eksperymentu. Uwaga. 36 sklepów uporządkowano według średnich tygodniowych obrotów z 8 tygodni przed testem i połączono w 18 par; w każdej parze losowo wybrano sklep z nową ekspozycją przy kasie (E), drugi był kontrolny (K).

Rysunek 2: ile naprawdę mamy obserwacji – ICC i efekt schematu

Paragony z jednego sklepu są do siebie podobne: ta sama okolica, ci sami klienci, ten sam układ sklepu. Miarą tego podobieństwa jest ICC (korelacja wewnątrzklasowa) – udział różnic między sklepami w całej zmienności paragonów. W modelu pustym (lme4, losowy wyraz wolny sklepu) odchylenie standardowe sklepów wynosi 11.96 zł, paragonów w sklepie 56.42 zł, a ICC = .043.

To mała liczba, ale mnoży się przez liczbę paragonów w sklepie. Efekt schematu (design effect) mówi, ile razy wariancja wyniku jest większa niż przy niezależnych paragonach:

DEFF = 1 + (m − 1) × ICC = 1 + (570.8 − 1) × .043 = 25.49

m to średnia liczba paragonów na sklep. Sklepy mają nierówną liczbę paragonów (współczynnik zmienności 0.233), co według Eldridge i in. (2006) dodatkowo zmniejsza moc; ich poprawka daje DEFF = 26.82. 20 549 paragonów niesie tyle informacji co ok. 766 niezależnych. Killip i in. (2004) podkreślają wniosek praktyczny: moc podnosi przede wszystkim liczba klastrów, a nie liczba osób w klastrze.

Dwa panele. A: średnia wartość paragonu w 36 sklepach z 95% przedziałami, od 68.73 do 116.15 zł; przedziały pojedynczych sklepów są wąskie w porównaniu z rozrzutem sklepów, a sklepy z ekspozycją (pomarańczowe trójkąty) i kontrolne (niebieskie kółka) przeplatają się. B: średni paragon w teście względem średniego paragonu przed testem; punkty leżą blisko przekątnej (r = .94), a linia sklepów z ekspozycją biegnie nieco wyżej niż linia kontrolnych
Rysunek 2. Średnia wartość paragonu w czasie testu w 36 sklepach (A) i jej związek ze średnim paragonem sprzed testu (B). Obliczenia: R, pakiety lme4, ggplot2 i patchwork (dane fikcyjne, set.seed(720)).

Co widać. Średnie sklepów rozciągają się od 68.73 do 116.15 zł, a różnica, której szukamy, to 4 zł. Przedziały pojedynczych sklepów są wąskie – kilkaset paragonów dobrze opisuje sklep – ale to sklepy różnią się między sobą. Panel B pokazuje ratunek: średni paragon sprzed testu przewiduje średnią w teście z korelacją r = .939.

Jak może zmylić. ICC z jednego testu jest niepewny – przy 36 sklepach ma szeroki przedział. Planując następny test, sprawdź kilka wartości ICC (Rysunek 4).

Zdanie do Wyników:

Wartość paragonu różniła się między sklepami (SD = 11.96 zł) znacznie mniej niż wewnątrz sklepów (SD = 56.42 zł), ICC = .043. Przy średnio 570.8 paragonu na sklep efekt schematu wyniósł 26.82 (z poprawką na nierówną liczbę paragonów), co odpowiada ok. 766 niezależnym obserwacjom.

Rysunek 3: ten sam test, siedem analiz

Te same dane policzyliśmy siedmioma sposobami. Pierwszy traktuje 20 549 paragonów jak niezależne obserwacje – to pseudoreplikacja: Hurlbert (1984) opisał ją jako testowanie efektu z niewłaściwym członem błędu, gdy powtórzenia nie są niezależne. Pozostałe uwzględniają sklepy: błędy odporne na klastrowanie (CR2), model mieszany z losowym wyrazem wolnym sklepu, test t na średnich sklepów, test t dla par oraz dwie analizy z parą i średnim paragonem sprzed testu.

Wykres przedziałowy efektu ekspozycji w siedmiu analizach. Regresja na paragonach (pomarańczowy trójkąt): 5.55 [3.98, 7.12] – wąski przedział. Błędy CR2: 5.55 [−2.17, 13.27]. Model mieszany: 5.78 [−2.37, 13.92]. Średnie sklepów, test t: 5.78 [−2.39, 13.96]. Test t dla par: 5.78 [0.04, 11.53]. Pary + paragon sprzed testu: 4.29 [1.50, 7.08]. Model mieszany z parą i paragonem sprzed: 4.26 [1.56, 6.95]. Linia przerywana przy prawdziwym efekcie 4 zł
Rysunek 3. Oszacowany efekt nowej ekspozycji na wartość paragonu z 95% przedziałem ufności w siedmiu analizach tych samych danych. Obliczenia: R, pakiety lme4, lmerTest, clubSandwich i ggplot2 (dane fikcyjne, set.seed(720)).

Co widać. Regresja na paragonach daje 5.55 zł, 95% CI [3.98, 7.12], p < .001 – wynik pewny jak skała. To złudzenie: błąd standardowy 0.80 zamiast ok. 4 zł. Trzy analizy, które uwzględniają tylko sklepy, mają przedziały od ok. −2.4 do 14 zł i p ≈ .15–.16 – przy 36 sklepach i prostym porównaniu różnicy 4 zł nie widać. Pary zawężają przedział do [0.04, 11.53] (p = .049). Dopiero pary z paragonem sprzed testu dają 4.29 zł, 95% CI [1.50, 7.08], p = .005, a model mieszany z tymi samymi zmiennymi – 4.26 zł [1.56, 6.95], p = .004.

Jak może zmylić. Wąski przedział z analizy (a) nie jest „bardziej precyzyjny”, tylko błędny. W przykładzie przypadkiem obejmuje on prawdziwe 4 zł, ale w symulacji (Rysunek 6) taka analiza alarmuje w 72% testów bez żadnego efektu. Liczba stopni swobody w analizach poprawnych (16–34) to ślad liczby sklepów, nie paragonów – modele mieszane liczą je metodą Satterthwaite’a.

Zdanie do Wyników:

Nowa ekspozycja przy kasie zwiększyła średnią wartość paragonu o 4.29 zł, 95% CI [1.50, 7.08], t(16) = 3.26, p = .005 (analiza różnic w 18 parach sklepów z kontrolą średniego paragonu sprzed testu). Model mieszany na poziomie paragonów z losowym wyrazem wolnym sklepu, parą i średnim paragonem sprzed testu dał zbliżony wynik: 4.26 zł, 95% CI [1.56, 6.95], p = .004.

Rysunek 4: moc według liczby sklepów i ICC

Ile sklepów trzeba, żeby wykryć +4 zł? Odpowiedź daje symulacyjna analiza mocy: losujemy sieć sklepów 1000 razy dla każdej liczby sklepów (20–40) i trzech wartości ICC (.01, .025, .05), za każdym razem przeprowadzamy test i liczymy, jak często p < .05. Porównujemy cztery schematy: losowanie proste lub w parach, bez kowariantu albo z paragonem sprzed testu (ANCOVA). Błąd Monte Carlo każdego odsetka nie przekracza 1.6 punktu procentowego.

Cztery panele mocy według liczby sklepów 20–40 dla ICC .01, .025 i .05. A, losowanie proste: przy 36 sklepach 47.5%, 24.1% i 14.1%. B, pary: 62.6%, 35.3% i 19.6%. C, losowanie proste z paragonem sprzed testu: 96.4%, 84.8% i 69.4%. D, pary z paragonem sprzed: 93.6%, 84.4% i 64.3%. Linia kropkowana – moc 80%
Rysunek 4. Moc wykrycia wzrostu średniego paragonu o 4 zł według liczby sklepów, ICC i schematu badania; 1000 symulacji na punkt. Obliczenia: R, pakiet ggplot2 (set.seed(7201)).

Co widać. Bez kowariantu (panele A i B) nawet 40 sklepów nie wystarcza: przy ICC = .025 moc wynosi 26.4% przy losowaniu prostym i 37.3% w parach. Pary pomagają, ale mało. Ogromną różnicę robi paragon sprzed testu: przy 36 sklepach i ICC = .025 moc rośnie z 24.1% do 84.8%. Przy ICC = .05 nawet z kowariantem 40 sklepów daje 72.8% – sieć musiałaby testować dłużej albo szukać większego efektu.

Jak może zmylić. Kowariant pomaga tak bardzo, bo poziom sklepu prawie się nie zmienia: w symulacji 90% różnic między sklepami jest trwałe. Gdy sklepy zmieniają się szybciej (remont, nowa konkurencja), zysk będzie mniejszy. Ten sam mechanizm wykorzystuje CUPED w testach A/B.

Zdanie do Metody:

Liczbę sklepów ustalono symulacyjnie (1000 powtórzeń na wariant). Przy ICC = .025, średnio 570 paragonach na sklep i analizie różnic w parach z kontrolą średniego paragonu sprzed testu 36 sklepów dawało moc 84.4% wykrycia wzrostu średniej wartości paragonu o 4 zł (α = .05).

Rysunek 5: pary czy kowariant – zysk precyzji

Teraz przy stałych 36 sklepach i ICC = .05 (bliskim wartości z przykładu) powtarzamy test 2000 razy i patrzymy, jak rozrzucone są oszacowania efektu w czterech schematach.

Wykresy skrzypcowe oszacowań efektu w 2000 symulacjach przy 36 sklepach i ICC .05. Losowanie proste: SD 4.46 zł, średnia połowa przedziału ±8.94 zł, moc 15%. Pary: SD 3.31, ±7.04, moc 19%. Losowanie proste z paragonem sprzed: SD 1.64, ±3.26, moc 68%. Pary z paragonem sprzed: SD 1.64, ±3.43, moc 63%. Wszystkie rozkłady są wyśrodkowane na prawdziwym efekcie 4 zł
Rysunek 5. Rozkład oszacowań efektu nowej ekspozycji w 2000 symulowanych testach w 36 sklepach przy ICC = .05 według schematu losowania i analizy. Obliczenia: R, pakiet ggplot2 (set.seed(7202)).

Co widać. Wszystkie cztery schematy są nieobciążone: średnie oszacowania to 4.01–4.08 zł, a pokrycie 95% przedziałów wynosi 94.6–95.7% (błąd Monte Carlo 0.5 punktu procentowego). Różni je precyzja. Pary zmniejszają SD oszacowań z 4.46 do 3.31 zł; kowariant – do 1.64 zł. Gdy kowariant jest w modelu, pary już nic nie dodają (±3.43 wobec ±3.26 zł, bo para zabiera stopnie swobody).

Jak może zmylić. To nie znaczy, że pary są zbędne. Imai i in. (2009) argumentują, że w eksperymentach z losowaniem klastrów dobór w pary warto stosować wszędzie, gdzie to możliwe – ze względu na obciążenie, efektywność, moc, odporność i koszty. Pary chronią też przed pechowym losowaniem i są prostym planem, gdy dobrego kowariantu nie ma. W randomizowanym teście ANCOVA ma większą moc niż analiza samej zmiany (Van Breukelen, 2006), więc paragon sprzed testu wstaw do modelu tak czy inaczej.

Rysunek 6: fałszywe alarmy i mała liczba sklepów

Ostatnia symulacja: ekspozycja nie działa wcale (efekt 0), a my 2000 razy przeprowadzamy test w 20 albo 36 sklepach (ICC = .05). Ile testów da p < .05? Poprawna analiza powinna dać ok. 5%.

Odsetek fałszywych alarmów przy braku efektu. Regresja na paragonach: 72.2% przy 20 sklepach i 73.0% przy 36. Średnie sklepów, test t: 5.2% i 4.8%. Pary, test t: 4.4% i 4.9%. Pary z wartością krytyczną 1.96: 7.1% i 6.2%. Pary z paragonem sprzed, test t: 4.6% i 4.6%. To samo z 1.96: 8.3% i 6.4%
Rysunek 6. Odsetek testów z p < .05 przy braku efektu ekspozycji według analizy i liczby sklepów; 2000 symulacji na punkt. Obliczenia: R, pakiet ggplot2 (set.seed(7203)).

Co widać. Regresja na paragonach daje fałszywy alarm w 72.2% testów przy 20 sklepach i w 73.0% przy 36 – zamiast w 5%. Domyślne błędy standardowe przy danych w klastrach zawyżają precyzję (Cameron i Miller, 2015). Analizy na sklepach z rozkładem t trzymają się 4.4–5.2%. Druga pułapka jest subtelniejsza: gdy przy 10 parach (20 sklepów) użyjesz wartości krytycznej 1.96 z rozkładu normalnego zamiast t z 9 lub 8 stopniami swobody, fałszywych alarmów jest 7.1–8.3%.

Jak może zmylić. Symulacja zakłada równą liczbę paragonów w sklepach i rozkład normalny paragonów. Leyrat i in. (2018) w szerszych symulacjach pokazali, że przy najwyżej 40 klastrach błąd I rodzaju trzymają analizy na poziomie klastrów i modele mieszane z poprawką stopni swobody, a metody bez poprawek go zawyżają.

Zdanie do Metody:

Ponieważ jednostką losowania był sklep, efekt ekspozycji oszacowano na poziomie sklepów (różnice w parach z kontrolą średniego paragonu sprzed testu, rozkład t z 16 stopniami swobody), a jako analizę wrażliwości – modelem mieszanym na poziomie paragonów z losowym wyrazem wolnym sklepu i stopniami swobody Satterthwaite’a.

Co z tym zrobić w firmie

  • Licz sklepy, nie paragony. 20 549 paragonów to ok. 766 niezależnych obserwacji, a o mocy decyduje 36 sklepów. Więcej paragonów z tych samych sklepów prawie nic nie da.
  • Zbierz dane sprzed testu. Średni paragon z 8 tygodni przed testem podniósł moc przy 36 sklepach z 24.1% do 84.8% (ICC = .025). To najtańszy sposób na mniejszy test.
  • Losuj w parach podobnych wielkością. Pary wyrównują grupy i chronią przed pechowym losowaniem. Zapisz pary przed losowaniem.
  • Zaplanuj liczbę sklepów symulacją dla kilku wartości ICC. Jeśli wychodzi więcej sklepów, niż sieć ma, wydłuż test albo zmień pytanie.
  • Raportuj przedział, nie tylko p. Wynik 4.29 zł [1.50, 7.08] mówi zarządowi, że ekspozycja raczej się opłaca, jeśli zysk z 1.50 zł na paragonie pokrywa koszt regału.
  • Sprawdź metryki ochronne, np. czas obsługi przy kasie – zob. metryki ochronne w teście A/B.

Jak opisać w pracy

Podaj liczbę sklepów i paragonów, sposób losowania, ICC, analizę na właściwym poziomie i efekt z przedziałem. Ogólne wskazówki znajdziesz we wpisie statystyka w pracy z marketingu.

Metoda. Eksperyment przeprowadzono w 36 sklepach sieci. Sklepy połączono w 18 par według średnich tygodniowych obrotów z 8 tygodni przed testem i w każdej parze losowo przydzielono jeden sklep do nowej ekspozycji przy kasie, a drugi do warunku kontrolnego. Wynikiem była wartość paragonu w 4 tygodniach testu (losowa próbka 20% paragonów, N = 20 549). Zależność paragonów w sklepach opisano współczynnikiem korelacji wewnątrzklasowej z modelu pustego. Efekt ekspozycji oszacowano na poziomie sklepów: różnice średnich w parach regresowano na różnicy średniego paragonu sprzed testu. Analizą wrażliwości był liniowy model mieszany z losowym wyrazem wolnym sklepu (stopnie swobody Satterthwaite’a). Obliczenia wykonano w R 4.5.3 (pakiety lme4 i lmerTest).
Efekt nowej ekspozycji w różnych analizach
AnalizaEfekt (zł)SEtdf95% CIp
Regresja na paragonach (błędna)5.550.806.9220 547[3.98, 7.12]< .001
Model mieszany na paragonach5.784.011.4433.7[−2.37, 13.92].159
Średnie sklepów, test t dla par5.782.722.1217[0.04, 11.53].049
Pary + paragon sprzed testu4.291.323.2616[1.50, 7.08].005
Model mieszany + pary + paragon sprzed4.261.263.3715.0[1.56, 6.95].004
Tabela 1. Efekt nowej ekspozycji przy kasie na średnią wartość paragonu w różnych analizach (36 sklepów, 20 549 paragonów). Uwaga. Regresja na paragonach traktuje paragony jako niezależne i zaniża błąd standardowy; pozostałe analizy uwzględniają sklep jako jednostkę losowania.
Przykład reprodukowalny

Kod R: dane, ICC, siedem analiz i symulacje mocy

Kod odtwarza wszystkie liczby z tekstu i sześć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy dane, paletę, motyw i funkcję minus(), a przepis 5 – funkcje symulacji używane w przepisach 6 i 7. Przepisy 2–7 kończą się nazwą wykresu (p1–p6), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne.

Losują przepisy 1 (set.seed(720)), 5 (set.seed(7201)), 6 (set.seed(7202)) i 7 (set.seed(7203)); ziarna ustalono raz i nie zmieniano. Ręcznie ustalono: 36 sklepów, średni paragon 95 zł, efekt ekspozycji +4 zł, różnice sklepów związane z wielkością (SD 6.5 zł) i pozostałe trwałe (SD 6.2 zł), zmianę poziomu sklepu między okresem przed testem a testem (SD 3 zł), rozrzut paragonów w sklepie (SD logarytmu 0.55), obroty sprzed testu 70 · exp(0.3 · wielkość + szum o SD 0.08) tys. zł, próbkę 20% paragonów z 4 tygodni; w symulacjach: ICC .01, .025 i .05, 570 paragonów na sklep o SD 57 zł, podział wariancji sklepów 47% (wielkość) / 43% (inne trwałe) / 10% (zmiana w czasie), szum obrotów 0.27 SD, 20–40 sklepów, 1000 i 2000 powtórzeń. Po pierwszym uruchomieniu zmieniono: wzór obrotów sprzed testu (był liniowy, 70 + 22 · wielkość + szum o SD 6, i dawał sklep z obrotami 4.1 tys. zł) oraz próbkę paragonów z 5% do 20% (w symulacjach z 143 do 570 paragonów na sklep). Przepis 1 zapisuje dwa pliki CSV w katalogu roboczym. Przepis 4 liczy się ok. 30 sekund (błędy CR2 na 20 tysiącach paragonów), reszta – kilka do kilkunastu sekund.

1. Dane: 36 sklepów, 18 par i paragony z testu

Dane wejściowe: nic – dane losuje kod. Na początku – paleta Okabe–Ito kol, motyw motyw i funkcja minus() (znak − w etykietach).

Co odczytać: liczbę sklepów, par i paragonów, średnie obroty i średni paragon sprzed testu w obu grupach oraz średnią i SD paragonu.

R
# Przepis 1. Fikcyjna sieć sklepów z artykułami do domu: 36 sklepów, 18 par i paragony z 4 tygodni testu
library(ggplot2)
options(width = 120)                                 # szerokie wydruki tabel

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw rysunków
kol <- c("Kontrola" = "#0072B2", "Nowa ekspozycja" = "#D55E00", "ICC = .01" = "#56B4E9",
         "ICC = .025" = "#0072B2", "ICC = .05" = "#000000")
motyw <- theme_minimal(base_size = 14) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        strip.text = element_text(face = "bold", colour = "#0f1d3a"), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))
minus <- function(x) gsub("-", "−", x)          # znak minus (−) w etykietach rysunków

# Parametry ustalone ręcznie
K <- 36                    # liczba sklepów
srednia <- 95              # średnia wartość paragonu w sieci (zł)
efekt <- 4                 # prawdziwy efekt nowej ekspozycji przy kasie: +4 zł na paragonie
sd_wielkosc <- 6.5         # różnice poziomu sklepów związane z wielkością sklepu (zł)
sd_inne <- 6.2             # pozostałe trwałe różnice sklepów (okolica, klienci) (zł)
sd_zmiana <- 3             # zmiana poziomu sklepu między okresem przed testem a testem (zł)
sd_log <- 0.55             # rozrzut paragonów w sklepie (odchylenie standardowe logarytmu wartości)
udzial_proby <- 0.20       # do analizy losujemy 20% paragonów z 4 tygodni testu

set.seed(720)
z <- rnorm(K)                                                   # wielkość sklepu (standaryzowana)
sklepy <- data.frame(sklep = sprintf("S%02d", 1:K),
                     obroty_przed = round(70 * exp(0.3 * z + rnorm(K, 0, 0.08)), 1))  # tys. zł tygodniowo, 8 tygodni przed testem
poziom_staly <- sd_wielkosc * z + rnorm(K, 0, sd_inne)
sklepy$paragon_przed <- round(srednia + poziom_staly, 2)        # średni paragon w 8 tygodniach przed testem (zł)
poziom_test <- srednia + poziom_staly + rnorm(K, 0, sd_zmiana)  # poziom sklepu w czasie testu (bez ekspozycji)

# Dobór w pary: sklepy posortowane według obrotów sprzed testu, kolejne dwa tworzą parę; rzut monetą w parze
kolejnosc <- order(sklepy$obroty_przed, decreasing = TRUE)
sklepy$para <- NA
sklepy$para[kolejnosc] <- rep(1:(K / 2), each = 2)
sklepy$ekspozycja <- NA
for (p in 1:(K / 2)) sklepy$ekspozycja[sklepy$para == p] <- sample(c(0, 1))
sklepy$grupa <- factor(ifelse(sklepy$ekspozycja == 1, "Nowa ekspozycja", "Kontrola"),
                       levels = c("Kontrola", "Nowa ekspozycja"))

# Paragony z 4 tygodni testu (losowa próbka 20%): liczba zależy od obrotów, wartość – od poziomu sklepu
sklepy$n_paragonow <- rpois(K, udzial_proby * 4 * 1000 * sklepy$obroty_przed / sklepy$paragon_przed)
paragony <- data.frame(sklep = rep(sklepy$sklep, sklepy$n_paragonow))
i <- match(paragony$sklep, sklepy$sklep)
mu <- poziom_test[i] + efekt * sklepy$ekspozycja[i]
paragony$wartosc <- round(mu * exp(rnorm(nrow(paragony), -sd_log^2 / 2, sd_log)), 2)  # średnia w sklepie = mu
paragony <- cbind(paragony, sklepy[i, c("para", "grupa", "ekspozycja", "obroty_przed", "paragon_przed")])
rownames(paragony) <- NULL
write.csv(sklepy[, c("sklep", "para", "grupa", "obroty_przed", "paragon_przed", "n_paragonow")],
          "eksperyment-w-sklepach-sklepy.csv", row.names = FALSE, fileEncoding = "UTF-8")
write.csv(paragony[, c("sklep", "wartosc")], "eksperyment-w-sklepach-paragony.csv", row.names = FALSE, fileEncoding = "UTF-8")

c(sklepy = K, pary = K / 2, paragony = nrow(paragony), min_na_sklep = min(sklepy$n_paragonow),
  max_na_sklep = max(sklepy$n_paragonow))
aggregate(cbind(obroty_przed, paragon_przed) ~ grupa, data = sklepy, FUN = function(x) round(mean(x), 2))
round(c(srednia_paragonu = mean(paragony$wartosc), sd_paragonu = sd(paragony$wartosc)), 2)
Wynik w R
      sklepy         pary     paragony min_na_sklep max_na_sklep 
          36           18        20549          313          768 
            grupa obroty_przed paragon_przed
1        Kontrola        66.08         91.42
2 Nowa ekspozycja        66.78         92.80
srednia_paragonu      sd_paragonu 
           95.65            57.54 

2. Schemat losowania w parach: Rysunek 1

Dane wejściowe: sklepy, kol i motyw z przepisu 1.

Co odczytać: średnie obroty sprzed testu (tys. zł) w obu grupach.

R
# Przepis 2. Grafika: schemat losowania sklepów w parach; Rysunek 1
pary <- sklepy[order(sklepy$para, -sklepy$obroty_przed), ]
pary$poz <- ave(pary$para, pary$para, FUN = seq_along)        # 1 = większy sklep w parze, 2 = mniejszy
pary$kol <- (pary$para - 1) %% 6
pary$wiersz <- 2 - (pary$para - 1) %/% 6
pary$x <- pary$kol * 1.6 + ifelse(pary$poz == 1, 0.4, 1.15)
pary$y <- pary$wiersz * 1.25
pary$etykieta <- sprintf("%s\n%.1f\n%s", pary$sklep, pary$obroty_przed, ifelse(pary$ekspozycja == 1, "E", "K"))
ramki <- aggregate(cbind(x, y) ~ para, data = pary, FUN = mean)
srednie_obrotow <- tapply(sklepy$obroty_przed, sklepy$grupa, mean)
round(srednie_obrotow, 2)

p1 <- ggplot(pary) +
  geom_rect(data = ramki, aes(xmin = x - 0.74, xmax = x + 0.74, ymin = y - 0.56, ymax = y + 0.46),
            fill = "grey97", colour = "grey60", linewidth = 0.4) +
  geom_text(data = ramki, aes(x = x - 0.68, y = y + 0.38, label = paste("para", para)), hjust = 0, vjust = 1,
            size = 3.3, colour = "grey30") +
  geom_tile(aes(x, y - 0.08, fill = grupa), width = 0.66, height = 0.7, colour = "white") +
  geom_text(aes(x, y - 0.08, label = etykieta), size = 3.4, lineheight = 0.9, colour = "white", fontface = "bold") +
  annotate("text", x = -0.35, y = 3.25, hjust = 0, size = 4.1, colour = "#0f1d3a", fontface = "bold",
           label = "1. Posortuj sklepy według obrotów sprzed testu  →  2. Połącz kolejne dwa w parę  →  3. Rzuć monetą w parze") +
  annotate("text", x = -0.35, y = -0.85, hjust = 0, size = 3.7, colour = "grey20",
           label = sprintf("W sklepie: numer, obroty tygodniowe przed testem (tys. zł), E – nowa ekspozycja, K – kontrola.\nŚrednie obroty: ekspozycja %.1f, kontrola %.1f tys. zł – grupy z góry podobne wielkością.",
                           srednie_obrotow["Nowa ekspozycja"], srednie_obrotow["Kontrola"])) +
  scale_fill_manual(values = kol, name = NULL) +
  coord_cartesian(xlim = c(-0.4, 9.7), ylim = c(-1.15, 3.4), expand = FALSE) +
  labs(title = "Losowanie w parach: 36 sklepów, 18 par, w każdej parze jeden sklep z nową ekspozycją",
       x = NULL, y = NULL) +
  motyw + theme(axis.text = element_blank(), panel.grid.major = element_blank(), legend.position = "none")
p1   # zapis: ggsave("eksperyment-w-sklepach-losowanie-w-parach.svg", p1, width = 10, height = 6)
Wynik w R
       Kontrola Nowa ekspozycja 
          66.08           66.78 

3. ICC i efekt schematu: Rysunek 2

Dane wejściowe: paragony i sklepy z przepisu 1.

Co odczytać: SD sklepów i paragonów, ICC, średnią liczbę paragonów na sklep (m), jej współczynnik zmienności (CV), efekt schematu bez i z poprawką na nierówne sklepy, efektywną liczbę obserwacji; zakres średnich sklepów i korelację średniej sprzed testu ze średnią w teście.

R
# Przepis 3. ICC, efekt schematu i efektywna liczba paragonów; Rysunek 2
library(lme4)
library(patchwork)

# Model pusty na paragonach: losowy wyraz wolny sklepu
m0 <- lmer(wartosc ~ 1 + (1 | sklep), data = paragony)
wariancje <- as.data.frame(VarCorr(m0))$vcov
icc <- wariancje[1] / sum(wariancje)
m_sr <- mean(sklepy$n_paragonow)                     # średnia liczba paragonów na sklep
cv <- sd(sklepy$n_paragonow) / m_sr                  # współczynnik zmienności liczby paragonów
deff <- 1 + (m_sr - 1) * icc                         # efekt schematu przy równych sklepach
deff_cv <- 1 + ((cv^2 + 1) * m_sr - 1) * icc         # wersja dla nierównych sklepów (Eldridge i in., 2006)
round(c(sd_sklepow = sqrt(wariancje[1]), sd_paragonow = sqrt(wariancje[2]), ICC = icc, m = m_sr, CV = cv,
        DEFF = deff, DEFF_CV = deff_cv, n_paragonow = nrow(paragony), n_efektywne = nrow(paragony) / deff_cv), 3)

# Średnie sklepów w teście z 95% CI (rozrzut paragonów w sklepie)
srednie <- aggregate(wartosc ~ sklep, data = paragony, FUN = mean)
names(srednie)[2] <- "srednia_test"
srednie <- merge(sklepy, srednie, by = "sklep")
sd_w <- tapply(paragony$wartosc, paragony$sklep, sd)[srednie$sklep]
srednie$ci_dol <- srednie$srednia_test - qt(.975, srednie$n_paragonow - 1) * sd_w / sqrt(srednie$n_paragonow)
srednie$ci_gora <- srednie$srednia_test + qt(.975, srednie$n_paragonow - 1) * sd_w / sqrt(srednie$n_paragonow)
round(c(min_srednia = min(srednie$srednia_test), max_srednia = max(srednie$srednia_test),
        r_przed_test = cor(srednie$paragon_przed, srednie$srednia_test)), 3)

srednie$kolejnosc <- rank(srednie$srednia_test, ties.method = "first")
pa <- ggplot(srednie, aes(srednia_test, kolejnosc, colour = grupa, shape = grupa)) +
  geom_errorbar(aes(xmin = ci_dol, xmax = ci_gora), width = 0, linewidth = 0.6, alpha = 0.7, show.legend = FALSE) +
  geom_point(size = 2.4) +
  scale_colour_manual(values = kol, name = NULL) + scale_shape_manual(values = c(16, 17), name = NULL) +
  labs(title = "A. Średni paragon w 36 sklepach", x = "Średnia wartość paragonu w teście (zł) z 95% CI",
       y = "Sklepy (od najniższej średniej)") +
  motyw + theme(axis.text.y = element_blank(), panel.grid.major.y = element_blank())
pb <- ggplot(srednie, aes(paragon_przed, srednia_test, colour = grupa, shape = grupa)) +
  geom_abline(slope = 1, intercept = 0, linetype = "dotted", colour = "grey40") +
  geom_smooth(method = "lm", formula = y ~ x, se = FALSE, linewidth = 0.8, show.legend = FALSE) +
  geom_point(size = 2.4) +
  scale_colour_manual(values = kol, name = NULL) + scale_shape_manual(values = c(16, 17), name = NULL) +
  labs(title = "B. Przed testem a w teście", x = "Średni paragon przed testem (zł)",
       y = "Średni paragon w teście (zł)") + motyw
p2 <- (pa | pb) + plot_layout(guides = "collect") &
  theme(legend.position = "bottom")
p2   # zapis: ggsave("eksperyment-w-sklepach-icc-srednie.svg", p2, width = 10, height = 5.6)
Wynik w R
  sd_sklepow sd_paragonow          ICC            m           CV         DEFF      DEFF_CV  n_paragonow  n_efektywne 
      11.956       56.420        0.043      570.806        0.233       25.487       26.817    20549.000      766.280 
 min_srednia  max_srednia r_przed_test 
      68.727      116.150        0.939 

4. Siedem analiz tego samego testu: Rysunek 3

Dane wejściowe: paragony (przepis 1) i srednie (przepis 3).

Co odczytać: efekt (zł), błąd standardowy, t, stopnie swobody, 95% CI i p w każdej analizie; korelację różnic w parach w teście i przed testem.

R
# Przepis 4. Ten sam test policzony siedmioma sposobami; Rysunek 3
library(lmerTest)        # stopnie swobody Satterthwaite'a w modelu mieszanym
library(clubSandwich)    # odporne błędy klastrowe CR2 dla małej liczby sklepów

wiersz <- function(nazwa, b, se, df) {
  data.frame(analiza = nazwa, efekt = b, se = se, t = b / se, df = df, ci_dol = b - qt(.975, df) * se,
             ci_gora = b + qt(.975, df) * se, p = 2 * pt(-abs(b / se), df))
}
# a) Zwykła regresja na paragonach – jakby 5142 paragony były niezależne (błędna)
a <- summary(lm(wartosc ~ ekspozycja, data = paragony))$coefficients["ekspozycja", ]
# b) Ta sama regresja z odpornym błędem klastrowym CR2 (klaster = sklep)
fit_b <- lm(wartosc ~ ekspozycja, data = paragony)
b <- coef_test(fit_b, vcov = "CR2", cluster = paragony$sklep, test = "Satterthwaite")[2, ]
# c) Model mieszany na paragonach (losowy wyraz wolny sklepu), df Satterthwaite'a
c_ <- summary(lmer(wartosc ~ ekspozycja + (1 | sklep), data = paragony))$coefficients["ekspozycja", ]
# d) Średnie sklepów, test t dla dwóch grup (36 obserwacji)
d <- summary(lm(srednia_test ~ ekspozycja, data = srednie))$coefficients["ekspozycja", ]
# e) Średnie sklepów, test t dla par (18 różnic w parach)
roznice <- with(srednie[order(srednie$para, -srednie$ekspozycja), ],
                data.frame(para = unique(para), d_test = srednia_test[ekspozycja == 1] - srednia_test[ekspozycja == 0],
                           d_przed = paragon_przed[ekspozycja == 1] - paragon_przed[ekspozycja == 0]))
e <- t.test(roznice$d_test)
# f) Pary + średni paragon sprzed testu (różnice w parach regresowane na różnicy sprzed testu)
f <- summary(lm(d_test ~ d_przed, data = roznice))$coefficients["(Intercept)", ]
# g) Model mieszany na paragonach z parą i paragonem sprzed testu, df Satterthwaite'a
g <- summary(lmer(wartosc ~ ekspozycja + paragon_przed + factor(para) + (1 | sklep),
                  data = paragony))$coefficients["ekspozycja", ]

wyniki <- rbind(
  wiersz("a) Regresja na paragonach (błędna)", a[1], a[2], nrow(paragony) - 2),
  wiersz("b) Regresja na paragonach, błędy CR2", b$beta, b$SE, b$df_Satt),
  wiersz("c) Model mieszany na paragonach", c_[1], c_[2], c_["df"]),
  wiersz("d) Średnie sklepów, test t", d[1], d[2], K - 2),
  wiersz("e) Średnie sklepów, test t dla par", unname(e$estimate), unname(e$stderr), unname(e$parameter)),
  wiersz("f) Pary + paragon sprzed testu", f[1], f[2], K / 2 - 2),
  wiersz("g) Model mieszany + pary + paragon sprzed", g[1], g[2], g["df"]))
rownames(wyniki) <- NULL
print(transform(wyniki, efekt = round(efekt, 2), se = round(se, 2), t = round(t, 2), df = round(df, 1), ci_dol = round(ci_dol, 2),
                ci_gora = round(ci_gora, 2), p = round(p, 4)), row.names = FALSE)
round(c(r_roznic = cor(roznice$d_test, roznice$d_przed)), 3)

wyniki$analiza <- factor(wyniki$analiza, levels = rev(wyniki$analiza))
wyniki$typ <- ifelse(grepl("błędna", wyniki$analiza), "Błędna (paragony jak niezależne)", "Uwzględnia sklepy")
p3 <- ggplot(wyniki, aes(efekt, analiza, colour = typ, shape = typ)) +
  geom_vline(xintercept = 0, colour = "grey30") +
  geom_vline(xintercept = efekt, linetype = "dashed", colour = "grey30") +
  geom_errorbar(aes(xmin = ci_dol, xmax = ci_gora), width = 0.25, linewidth = 0.8) +
  geom_point(size = 3) +
  geom_text(aes(x = 26, label = minus(sprintf("%.2f [%.2f, %.2f]", efekt, ci_dol, ci_gora))),
            hjust = 1, size = 3.7, colour = "grey15", show.legend = FALSE) +
  scale_colour_manual(values = c("Błędna (paragony jak niezależne)" = "#D55E00", "Uwzględnia sklepy" = "#0072B2"),
                      name = NULL) +
  scale_shape_manual(values = c(17, 16), name = NULL) +
  scale_x_continuous(limits = c(-4, 26), breaks = seq(0, 16, 4), labels = function(x) minus(x)) +
  labs(title = "Efekt nowej ekspozycji na wartość paragonu (zł) z 95% CI",
       subtitle = "Linia przerywana: prawdziwy efekt +4 zł (znany, bo dane są fikcyjne)", x = "Różnica (zł)", y = NULL) +
  motyw
p3   # zapis: ggsave("eksperyment-w-sklepach-siedem-analiz.svg", p3, width = 10, height = 5.6)
Wynik w R
                                   analiza efekt   se    t      df ci_dol ci_gora      p
        a) Regresja na paragonach (błędna)  5.55 0.80 6.92 20547.0   3.98    7.12 0.0000
      b) Regresja na paragonach, błędy CR2  5.55 3.79 1.46    32.2  -2.17   13.27 0.1527
           c) Model mieszany na paragonach  5.78 4.01 1.44    33.7  -2.37   13.92 0.1585
                d) Średnie sklepów, test t  5.78 4.02 1.44    34.0  -2.39   13.96 0.1596
        e) Średnie sklepów, test t dla par  5.78 2.72 2.12    17.0   0.04   11.53 0.0487
            f) Pary + paragon sprzed testu  4.29 1.32 3.26    16.0   1.50    7.08 0.0049
 g) Model mieszany + pary + paragon sprzed  4.26 1.26 3.37    15.0   1.56    6.95 0.0042
r_roznic 
   0.886 

5. Moc według liczby sklepów i ICC – symulacja: Rysunek 4

Dane wejściowe: nic poza kol i motyw; funkcje sim_sklepy() i analizy() wykorzystują też przepisy 6 i 7.

Co odczytać: moc (odsetek testów z p < .05) dla każdej liczby sklepów, ICC i schematu oraz największy błąd Monte Carlo.

R
# Przepis 5. Moc testu według liczby sklepów i ICC – symulacja; Rysunek 4
# Symulujemy od razu średnie sklepów: poziom sklepu + efekt + błąd średniej z m paragonów.
sim_sklepy <- function(K, icc, efekt, m = 570, sd_e = 57) {
  s2u <- icc / (1 - icc) * sd_e^2                    # wariancja między sklepami wynikająca z ICC
  z <- rnorm(K)                                      # wielkość sklepu
  staly <- sqrt(0.47 * s2u) * z + rnorm(K, 0, sqrt(0.43 * s2u))   # trwały poziom (znany sprzed testu)
  zmiana <- rnorm(K, 0, sqrt(0.10 * s2u))            # zmiana poziomu w czasie testu
  obroty <- z + rnorm(K, 0, 0.27)                    # obroty sprzed testu – podstawa doboru w pary
  para <- integer(K); para[order(obroty)] <- rep(1:(K / 2), each = 2)
  t_pary <- ave(runif(K), para, FUN = function(u) as.numeric(u == max(u)))  # rzut monetą w każdej parze
  t_proste <- sample(rep(0:1, K / 2))                # losowanie proste: połowa sklepów
  blad <- rnorm(K, 0, sd_e / sqrt(m))
  list(K = K, przed = staly, para = para, t_pary = t_pary, t_proste = t_proste,
       y_pary = staly + zmiana + efekt * t_pary + blad, y_proste = staly + zmiana + efekt * t_proste + blad)
}
ols <- function(X, y, j = 2) {                       # oszacowanie, SE i df współczynnika w kolumnie j
  f <- .lm.fit(X, y); s2 <- sum(f$residuals^2) / (nrow(X) - ncol(X))
  c(b = f$coefficients[j], se = sqrt(s2 * solve(crossprod(X))[j, j]), df = nrow(X) - ncol(X))
}
analizy <- function(s) {
  K <- s$K; jeden <- rep(1, K)
  o <- order(s$para, -s$t_pary)
  dy <- s$y_pary[o][c(TRUE, FALSE)] - s$y_pary[o][c(FALSE, TRUE)]     # różnica w parze: ekspozycja − kontrola
  dx <- s$przed[o][c(TRUE, FALSE)] - s$przed[o][c(FALSE, TRUE)]
  rbind("Losowanie proste" = ols(cbind(jeden, s$t_proste), s$y_proste),
        "Losowanie proste + paragon sprzed" = ols(cbind(jeden, s$t_proste, s$przed), s$y_proste),
        "Pary" = c(b = mean(dy), se = sd(dy) / sqrt(K / 2), df = K / 2 - 1),
        "Pary + paragon sprzed" = ols(cbind(1, dx), dy, j = 1))      # wyraz wolny = efekt
}

set.seed(7201)
siatka <- expand.grid(K = seq(20, 40, 4), icc = c(0.01, 0.025, 0.05))
moc <- do.call(rbind, lapply(seq_len(nrow(siatka)), function(i) {
  r <- replicate(1000, { a <- analizy(sim_sklepy(siatka$K[i], siatka$icc[i], efekt = 4))
                          abs(a[, "b"] / a[, "se"]) > qt(.975, a[, "df"]) })
  data.frame(K = siatka$K[i], icc = siatka$icc[i], schemat = rownames(r), moc = rowMeans(r))
}))
moc$blad_mc <- sqrt(moc$moc * (1 - moc$moc) / 1000)
tab_moc <- reshape(moc[, c("K", "icc", "schemat", "moc")], idvar = c("K", "icc"), timevar = "schemat", direction = "wide")
names(tab_moc) <- sub("moc.", "", names(tab_moc), fixed = TRUE)
print(transform(tab_moc, `Losowanie proste` = round(`Losowanie proste`, 3)), row.names = FALSE, digits = 3)
round(max(moc$blad_mc), 4)                           # największy błąd Monte Carlo odsetka

moc$ICC <- factor(sprintf("ICC = %s", sub("^0", "", moc$icc)), levels = c("ICC = .01", "ICC = .025", "ICC = .05"))
moc$schemat <- factor(moc$schemat, levels = c("Losowanie proste", "Pary", "Losowanie proste + paragon sprzed",
                                              "Pary + paragon sprzed"),
                      labels = c("A. Losowanie proste", "B. Pary", "C. Losowanie proste + paragon sprzed",
                                 "D. Pary + paragon sprzed"))
p4 <- ggplot(moc, aes(K, moc, colour = ICC, shape = ICC, linetype = ICC)) +
  geom_hline(yintercept = 0.8, linetype = "dotted", colour = "grey30") +
  geom_line(linewidth = 0.9) + geom_point(size = 2.6) +
  facet_wrap(~schemat, ncol = 2) +
  scale_colour_manual(values = kol, name = NULL) + scale_shape_manual(values = c(16, 17, 15), name = NULL) +
  scale_linetype_manual(values = c("solid", "dashed", "longdash"), name = NULL) +
  scale_x_continuous(breaks = seq(20, 40, 4)) +
  scale_y_continuous(limits = c(0, 1), labels = function(x) paste0(100 * x, "%")) +
  labs(title = "Moc wykrycia +4 zł na paragonie według liczby sklepów",
       subtitle = "1000 symulacji na punkt, 570 paragonów na sklep; linia kropkowana: moc 80%",
       x = "Liczba sklepów w teście", y = "Moc (α = .05)") + motyw
p4   # zapis: ggsave("eksperyment-w-sklepach-moc.svg", p4, width = 10, height = 7.4)
Wynik w R
  K   icc Losowanie proste Losowanie proste + paragon sprzed  Pary Pary + paragon sprzed
 20 0.010            0.293                             0.810 0.349                 0.661
 24 0.010            0.337                             0.863 0.422                 0.800
 28 0.010            0.364                             0.926 0.511                 0.864
 32 0.010            0.444                             0.955 0.601                 0.927
 36 0.010            0.475                             0.964 0.626                 0.936
 40 0.010            0.540                             0.981 0.701                 0.968
 20 0.025            0.150                             0.576 0.192                 0.519
 24 0.025            0.180                             0.705 0.235                 0.590
 28 0.025            0.184                             0.768 0.253                 0.699
 32 0.025            0.212                             0.822 0.307                 0.779
 36 0.025            0.241                             0.848 0.353                 0.844
 40 0.025            0.264                             0.915 0.373                 0.842
 20 0.050            0.114                             0.385 0.118                 0.324
 24 0.050            0.116                             0.487 0.149                 0.443
 28 0.050            0.113                             0.543 0.162                 0.494
 32 0.050            0.124                             0.611 0.185                 0.584
 36 0.050            0.141                             0.694 0.196                 0.643
 40 0.050            0.152                             0.728 0.219                 0.662
[1] 0.0158

6. Precyzja czterech schematów przy 36 sklepach: Rysunek 5

Dane wejściowe: funkcje z przepisu 5.

Co odczytać: średnią i SD oszacowań, średnią połowę 95% CI, pokrycie i moc w każdym schemacie; błąd Monte Carlo pokrycia.

R
# Przepis 6. Pary i paragon sprzed testu: zysk precyzji przy 36 sklepach – symulacja; Rysunek 5
# Korzysta z sim_sklepy() i analizy() z przepisu 5.
set.seed(7202)
R <- 2000
osz <- replicate(R, analizy(sim_sklepy(36, 0.05, efekt = 4)), simplify = FALSE)
precyzja <- do.call(rbind, lapply(osz, function(a) data.frame(schemat = rownames(a), b = a[, "b"], se = a[, "se"],
                                                             df = a[, "df"])))
precyzja$ci_dol <- precyzja$b - qt(.975, precyzja$df) * precyzja$se
precyzja$ci_gora <- precyzja$b + qt(.975, precyzja$df) * precyzja$se
podsum <- do.call(rbind, lapply(split(precyzja, precyzja$schemat), function(d) data.frame(
  schemat = d$schemat[1], srednia = mean(d$b), sd_oszacowan = sd(d$b), polowa_ci = mean((d$ci_gora - d$ci_dol) / 2),
  pokrycie = mean(d$ci_dol < 4 & d$ci_gora > 4), moc = mean(d$ci_dol > 0 | d$ci_gora < 0))))
podsum$schemat <- factor(podsum$schemat, levels = c("Losowanie proste", "Pary", "Losowanie proste + paragon sprzed",
                                                    "Pary + paragon sprzed"))
podsum <- podsum[order(podsum$schemat), ]
print(podsum, row.names = FALSE, digits = 3)
round(sqrt(0.95 * 0.05 / R), 4)                      # błąd Monte Carlo pokrycia

precyzja$schemat <- factor(precyzja$schemat, levels = rev(levels(podsum$schemat)))
podsum$schemat <- factor(podsum$schemat, levels = levels(precyzja$schemat))
p5 <- ggplot(precyzja, aes(b, schemat)) +
  geom_vline(xintercept = 0, colour = "grey30") +
  geom_vline(xintercept = 4, linetype = "dashed", colour = "grey30") +
  geom_violin(fill = "#56B4E9", colour = "#0072B2", alpha = 0.35, scale = "width", width = 0.8) +
  geom_boxplot(width = 0.12, outlier.shape = NA, fill = "white", colour = "#0f1d3a") +
  geom_text(data = podsum, aes(x = 28, label = sprintf("SD = %.2f zł\n±%.2f zł, moc %.0f%%", sd_oszacowan,
                                                         polowa_ci, 100 * moc)),
            hjust = 1, size = 3.6, lineheight = 0.95, colour = "grey15") +
  scale_x_continuous(breaks = seq(-8, 16, 4), labels = function(x) minus(x)) +
  coord_cartesian(xlim = c(-12, 28)) +
  labs(title = "Rozrzut oszacowań efektu w 2000 symulowanych testach (36 sklepów)",
       subtitle = "ICC = .05; linia przerywana: prawdziwy efekt +4 zł; ± średnia połowa 95% CI",
       x = "Oszacowany efekt (zł na paragonie)", y = NULL) + motyw
p5   # zapis: ggsave("eksperyment-w-sklepach-precyzja.svg", p5, width = 10, height = 5.6)
Wynik w R
                           schemat srednia sd_oszacowan polowa_ci pokrycie   moc
                  Losowanie proste    4.06         4.46      8.94    0.948 0.154
                              Pary    4.08         3.31      7.04    0.957 0.194
 Losowanie proste + paragon sprzed    4.05         1.64      3.26    0.946 0.678
             Pary + paragon sprzed    4.01         1.64      3.43    0.950 0.632
[1] 0.0049

7. Fałszywe alarmy przy braku efektu: Rysunek 6

Dane wejściowe: funkcje z przepisu 5.

Co odczytać: odsetek testów z p < .05 (%) i jego błąd Monte Carlo (punkty procentowe) dla 20 i 36 sklepów.

R
# Przepis 7. Fałszywe alarmy, gdy ekspozycja nic nie daje: paragony jak niezależne i mała liczba sklepów; Rysunek 6
# Korzysta z sim_sklepy() i analizy() z przepisu 5. Paragony losujemy wprost (rozkład normalny), m = 570 na sklep.
alarmy_jeden <- function(K, icc = 0.05, m = 570, sd_e = 57) {
  s <- sim_sklepy(K, icc, efekt = 0, m = m, sd_e = sd_e)
  a <- analizy(s)
  # zwykła regresja na K × m paragonach: odchylenia paragonów wokół średniej sklepu (średnia sklepu = s$y_proste)
  id <- rep(1:K, each = m)
  e <- rnorm(K * m, 0, sd_e)
  par <- s$y_proste[id] + e - ave(e, id)
  grp <- rep(s$t_proste, each = m)
  r <- .lm.fit(cbind(1, grp), par)$residuals
  se_n <- sqrt(sum(r^2) / (K * m - 2) * (1 / sum(grp) + 1 / sum(1 - grp)))
  b_n <- mean(par[grp == 1]) - mean(par[grp == 0])
  c("Regresja na paragonach" = abs(b_n / se_n) > qt(.975, K * m - 2),
    "Średnie sklepów, test t" = abs(a[1, "b"] / a[1, "se"]) > qt(.975, a[1, "df"]),
    "Pary, test t" = abs(a[3, "b"] / a[3, "se"]) > qt(.975, a[3, "df"]),
    "Pary, wartość krytyczna 1.96" = abs(a[3, "b"] / a[3, "se"]) > 1.96,
    "Pary + paragon sprzed, test t" = abs(a[4, "b"] / a[4, "se"]) > qt(.975, a[4, "df"]),
    "Pary + paragon sprzed, 1.96" = abs(a[4, "b"] / a[4, "se"]) > 1.96)
}
set.seed(7203)
R <- 2000
alarmy <- do.call(rbind, lapply(c(20, 36), function(K) {
  x <- rowMeans(replicate(R, alarmy_jeden(K)))
  data.frame(K = K, analiza = names(x), odsetek = x)
}))
alarmy$blad_mc <- sqrt(alarmy$odsetek * (1 - alarmy$odsetek) / R)
print(transform(alarmy, odsetek = round(100 * odsetek, 1), blad_mc = round(100 * blad_mc, 2)), row.names = FALSE)

alarmy$analiza <- factor(alarmy$analiza, levels = rev(unique(alarmy$analiza)))
alarmy$sklepy <- factor(paste(alarmy$K, "sklepów"), levels = c("20 sklepów", "36 sklepów"))
p6 <- ggplot(alarmy, aes(100 * odsetek, analiza, colour = sklepy, shape = sklepy)) +
  geom_vline(xintercept = 5, linetype = "dashed", colour = "grey30") +
  geom_errorbar(aes(xmin = 100 * (odsetek - 1.96 * blad_mc), xmax = 100 * (odsetek + 1.96 * blad_mc)),
                width = 0.3, linewidth = 0.7, position = position_dodge(width = 0.55)) +
  geom_point(size = 3, position = position_dodge(width = 0.55)) +
  scale_colour_manual(values = c("20 sklepów" = "#D55E00", "36 sklepów" = "#0072B2"), name = NULL) +
  scale_shape_manual(values = c(17, 16), name = NULL) +
  scale_x_continuous(labels = function(x) paste0(x, "%")) +
  labs(title = "Fałszywe alarmy, gdy ekspozycja nic nie zmienia",
       subtitle = "2000 symulacji na punkt, ICC = .05, 570 paragonów na sklep; linia: nominalne 5%",
       x = "Odsetek testów z p < .05 (z 95% przedziałem błędu Monte Carlo)", y = NULL) + motyw
p6   # zapis: ggsave("eksperyment-w-sklepach-falszywe-alarmy.svg", p6, width = 10, height = 5.6)
Wynik w R
  K                       analiza odsetek blad_mc
 20        Regresja na paragonach    72.2    1.00
 20       Średnie sklepów, test t     5.2    0.50
 20                  Pary, test t     4.4    0.46
 20  Pary, wartość krytyczna 1.96     7.1    0.57
 20 Pary + paragon sprzed, test t     4.6    0.47
 20   Pary + paragon sprzed, 1.96     8.3    0.62
 36        Regresja na paragonach    73.0    0.99
 36       Średnie sklepów, test t     4.8    0.48
 36                  Pary, test t     4.9    0.48
 36  Pary, wartość krytyczna 1.96     6.2    0.54
 36 Pary + paragon sprzed, test t     4.6    0.47
 36   Pary + paragon sprzed, 1.96     6.4    0.55

8. Kontrola palety: symulacja zaburzeń widzenia barw

Dane wejściowe: pary kolorów z rysunków i – dla porównania – para czerwony–zielony.

Co odczytać: odległość barw ΔE w przestrzeni CIELAB przy typowym widzeniu oraz po symulacji deuteranopii i protanopii; im mniejsza, tym trudniej odróżnić kolory. Na rysunkach kolorowi towarzyszy kształt punktu, rodzaj linii albo litera.

R
# Przepis 8. Kontrola palety: symulacja zaburzeń widzenia barw
library(colorspace)
pary_kol <- list("kontrola – ekspozycja" = c("#0072B2", "#D55E00"),
                 "ICC .01 – ICC .025" = c("#56B4E9", "#0072B2"), "ICC .025 – ICC .05" = c("#0072B2", "#000000"),
                 "ICC .01 – ICC .05" = c("#56B4E9", "#000000"),
                 "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
roznica <- function(k) {           # odległość barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(k), "LAB")); sqrt(sum((lab[1, ] - lab[2, ])^2))
}
round(t(sapply(pary_kol, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(k)),
                                       protanopia = roznica(protan(k))))), 1)
Wynik w R
                                 widzenie_typowe deuteranopia protanopia
kontrola – ekspozycja                      114.6        108.3       91.9
ICC .01 – ICC .025                          26.4         24.7       24.6
ICC .025 – ICC .05                          61.9         62.8       62.4
ICC .01 – ICC .05                           78.9         77.6       79.6
czerwony – zielony (do unikania)           121.7         21.1       31.6

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3. Losowanie danych, regresja liniowa, test t i symulacje – pakiet stats i funkcje podstawowej instalacji R. Model mieszany dopasowano pakietem lme4, stopnie swobody Satterthwaite’a policzono pakietem lmerTest, a błędy CR2 – pakietem clubSandwich. Rysunki wykonano w pakiecie ggplot2, panele złożono pakietem patchwork i zapisano pakietem svglite, a paletę sprawdzono pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. lme4 (wersja 2.0.1): Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48. https://doi.org/10.18637/jss.v067.i01
  3. lmerTest (wersja 3.2.1): Kuznetsova, A., Brockhoff, P. B., & Christensen, R. H. B. (2017). lmerTest package: Tests in linear mixed effects models. Journal of Statistical Software, 82(13), 1–26. https://doi.org/10.18637/jss.v082.i13
  4. clubSandwich (wersja 0.7.0): Pustejovsky, J. E. (2025). clubSandwich: Cluster-robust (sandwich) variance estimators with small-sample corrections [R package]. https://doi.org/10.32614/CRAN.package.clubSandwich
  5. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  6. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  7. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1). https://doi.org/10.18637/jss.v096.i01
  8. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Klienci przechodzą między sklepami. Klient sklepu kontrolnego zrobi zakupy w sąsiednim sklepie z ekspozycją i odwrotnie. Taka kontaminacja zmniejsza oszacowanie efektu i może prowadzić do błędu II rodzaju (Torgerson, 2001). Nie łącz w pary i nie losuj osobno sklepów z tej samej galerii lub ulicy – traktuj je jako jeden klaster.
  • Mała liczba sklepów. Przy 10–20 parach używaj rozkładu t z liczbą stopni swobody wynikającą z liczby sklepów, a w modelu mieszanym – poprawki Satterthwaite’a lub Kenwarda–Rogera. Wartość 1.96 dała do 8.3% fałszywych alarmów.
  • Kowariant zmierzony po starcie. Do modelu wstawiaj tylko dane sprzed losowania. Średni paragon z pierwszego tygodnia testu jest już skutkiem ekspozycji.
  • Sklep wypada z testu (remont, zamknięcie). W parach tracisz wtedy także jego parę; zapisz z góry, co robisz w takiej sytuacji.
  • Średni paragon to nie wszystko. Ekspozycja może podnosić paragon, ale zmniejszać liczbę klientów, np. przez kolejki przy kasie. Patrz też na obroty sklepu – to także metryka na poziomie sklepu. Gdy efekt przenosi się między jednostkami w bardziej złożony sposób, zob. eksperymenty z efektem sieciowym.

Najczęstsze pytania

Dlaczego w eksperymencie w sieci sklepów losuje się sklepy, a nie klientów?

Bo zmiana – ekspozycja, układ półek, obsługa – dotyczy całego sklepu i widzi ją każdy klient. Jednostką losowania jest więc sklep, a paragony z jednego sklepu są do siebie podobne. Analiza musi to uwzględnić: liczy się liczba sklepów, nie paragonów.

Ilu sklepów potrzeba do testu zmiany w sklepie?

To zależy od ICC, wielkości efektu i tego, czy masz dane sprzed testu. W symulacji z przykładu wzrost paragonu o 4 zł przy ICC = .025 wykrywało 36 sklepów z mocą 24.1% przy prostym porównaniu i 84.8% po dodaniu średniego paragonu sprzed testu. Liczbę sklepów zaplanuj symulacją dla kilku wartości ICC.

Jak policzyć efekt schematu dla paragonów ze sklepów?

DEFF = 1 + (m − 1) × ICC, gdzie m to średnia liczba paragonów na sklep. Przy 570.8 paragonu i ICC = .043 wychodzi 25.49, a z poprawką na nierówną liczbę paragonów 26.82, czyli 20 549 paragonów odpowiada ok. 766 niezależnym obserwacjom.

Czy dobór sklepów w pary się opłaca?

Tak, wyrównuje grupy pod względem wielkości i chroni przed pechowym losowaniem. W symulacji z 36 sklepami pary zmniejszyły SD oszacowań efektu z 4.46 do 3.31 zł. Jeszcze więcej daje kowariant sprzed testu (1.64 zł); gdy go masz, pary nie dodają już wiele precyzji, ale nadal porządkują plan.

Model mieszany na paragonach czy średnie sklepów – co wybrać?

Oba podejścia są poprawne, jeśli uwzględniają sklep: model mieszany z losowym wyrazem wolnym sklepu i stopniami swobody Satterthwaite’a albo analiza średnich sklepów (np. różnic w parach). Błędna jest zwykła regresja na paragonach – w przykładzie dała SE 0.80 zł zamiast ok. 4 zł.

Powiązane hasła

Przeczytaj też

Planujesz test w sklepach albo piszesz o nim pracę?

Pomożemy dobrać sklepy w pary, policzyć liczbę sklepów symulacją, przeanalizować paragony modelem mieszanym i opisać wynik tak, żebyś umiał(a) go obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Cameron, A. C., & Miller, D. L. (2015). A practitioner’s guide to cluster-robust inference. Journal of Human Resources, 50(2), 317–372. https://doi.org/10.3368/jhr.50.2.317
  2. Eldridge, S. M., Ashby, D., & Kerry, S. (2006). Sample size for cluster randomized trials: Effect of coefficient of variation of cluster size and analysis method. International Journal of Epidemiology, 35(5), 1292–1300. https://doi.org/10.1093/ije/dyl129 ● Otwarty dostęp
  3. Hurlbert, S. H. (1984). Pseudoreplication and the design of ecological field experiments. Ecological Monographs, 54(2), 187–211. https://doi.org/10.2307/1942661
  4. Imai, K., King, G., & Nall, C. (2009). The essential role of pair matching in cluster-randomized experiments, with application to the Mexican Universal Health Insurance Evaluation. Statistical Science, 24(1), 29–53. https://doi.org/10.1214/08-sts274 ● Otwarty dostęp
  5. Killip, S., Mahfoud, Z., & Pearce, K. (2004). What is an intracluster correlation coefficient? Crucial concepts for primary care researchers. Annals of Family Medicine, 2(3), 204–208. https://doi.org/10.1370/afm.141 ● Otwarty dostęp
  6. Leyrat, C., Morgan, K. E., Leurent, B., & Kahan, B. C. (2018). Cluster randomized trials with a small number of clusters: Which analyses should be used? International Journal of Epidemiology, 47(1), 321–331. https://doi.org/10.1093/ije/dyx169
  7. Torgerson, D. J. (2001). Contamination in trials: Is cluster randomisation the answer? BMJ, 322(7282), 355–357. https://doi.org/10.1136/bmj.322.7282.355 ● Otwarty dostęp
  8. Van Breukelen, G. J. P. (2006). ANCOVA versus change from baseline had more power in randomized studies and more bias in nonrandomized studies. Journal of Clinical Epidemiology, 59(9), 920–925. https://doi.org/10.1016/j.jclinepi.2006.02.007

Cytowania BibTeX

@article{cameron2015practitioner, author={Cameron, A. Colin and Miller, Douglas L.}, title={{A practitioner’s guide to cluster-robust inference}}, journal={Journal of Human Resources}, year={2015}, volume={50}, number={2}, pages={317--372}, doi={10.3368/jhr.50.2.317}}
@article{eldridge2006sample, author={Eldridge, Sandra M. and Ashby, Deborah and Kerry, Sally}, title={{Sample size for cluster randomized trials: Effect of coefficient of variation of cluster size and analysis method}}, journal={International Journal of Epidemiology}, year={2006}, volume={35}, number={5}, pages={1292--1300}, doi={10.1093/ije/dyl129}}
@article{hurlbert1984pseudoreplication, author={Hurlbert, Stuart H.}, title={{Pseudoreplication and the design of ecological field experiments}}, journal={Ecological Monographs}, year={1984}, volume={54}, number={2}, pages={187--211}, doi={10.2307/1942661}}
@article{imai2009essential, author={Imai, Kosuke and King, Gary and Nall, Clayton}, title={{The essential role of pair matching in cluster-randomized experiments, with application to the Mexican Universal Health Insurance Evaluation}}, journal={Statistical Science}, year={2009}, volume={24}, number={1}, pages={29--53}, doi={10.1214/08-sts274}}
@article{killip2004what, author={Killip, Shersten and Mahfoud, Ziyad and Pearce, Kevin}, title={{What is an intracluster correlation coefficient? Crucial concepts for primary care researchers}}, journal={Annals of Family Medicine}, year={2004}, volume={2}, number={3}, pages={204--208}, doi={10.1370/afm.141}}
@article{leyrat2018cluster, author={Leyrat, Clémence and Morgan, Katy E. and Leurent, Baptiste and Kahan, Brennan C.}, title={{Cluster randomized trials with a small number of clusters: Which analyses should be used?}}, journal={International Journal of Epidemiology}, year={2018}, volume={47}, number={1}, pages={321--331}, doi={10.1093/ije/dyx169}}
@article{torgerson2001contamination, author={Torgerson, David J.}, title={{Contamination in trials: Is cluster randomisation the answer?}}, journal={BMJ}, year={2001}, volume={322}, number={7282}, pages={355--357}, doi={10.1136/bmj.322.7282.355}}
@article{vanbreukelen2006ancova, author={Van Breukelen, Gerard J. P.}, title={{ANCOVA versus change from baseline had more power in randomized studies and more bias in nonrandomized studies}}, journal={Journal of Clinical Epidemiology}, year={2006}, volume={59}, number={9}, pages={920--925}, doi={10.1016/j.jclinepi.2006.02.007}}
R