Statystyka · Marketing

Pre-test kreacji reklamowych w ankiecie – schemat monadyczny, sekwencyjny i efekt kolejności

Fikcyjna marka lodów i cztery wersje spotu. Krok po kroku: plan monadyczny i sekwencyjny, efekt kolejności i przeniesienia, model mieszany, poprawka na wiele porównań, 1000 symulowanych badań i liczebność próby – pięć rysunków z kodem R, podpisy APA i zdania do pracy.

Strona główna / Blog / Pre-test kreacji reklamowych
W skrócie: W planie monadycznym każdy respondent ocenia jeden spot, w sekwencyjnym – wszystkie w losowej kolejności. Sekwencyjny wymaga kilka razy mniej respondentów do porównania spotów (moc 80% przy 180 zamiast 868 osób), ale pierwszy spot oceniany jest lepiej (5.04 wobec 4.38 na pozycji 4), a słabszy spot po mocnym traci. Losuj i równoważ kolejność, analizuj model mieszany z pozycją i przeniesieniem, a poziom wskaźnika do norm bierz tylko z pierwszej ekspozycji. Stała kolejność zaniżyła różnicę spotów o 0.12 punktu w 1000 symulacji.

Przykład: cztery spoty lodów przed kampanią

Fikcyjna marka lodów ma przed sezonem cztery wersje 20-sekundowego spotu: A „Upał w mieście”, B „Rodzinny deser”, C „Chrupiąca polewa” i D „Pies i lody” (humor). Wyemituje jedną, a wcześniej agencja robi pre-test w ankiecie online: respondenci z panelu oglądają spot i odpowiadają na trzy pytania. Pytanie biznesowe: który spot wybrać i czy różnica jest na tyle duża, żeby na niej polegać?

  • Zapamiętanie marki (tak/nie): po spocie i krótkim pytaniu odwracającym uwagę respondent wskazuje reklamowaną markę.
  • Sympatia do spotu: „Jak bardzo podobała Ci się ta reklama?” na skali 1–7 – wskaźnik główny.
  • Intencja zakupu: odsetek odpowiedzi „raczej” i „zdecydowanie kupię” (tzw. top-2-box) na skali 1–5.

Agencja losowo dzieli 1200 osób między dwa plany. W planie monadycznym 800 osób widzi tylko jeden spot (po 200 na spot). W planie sekwencyjnym 400 osób widzi wszystkie cztery w losowej kolejności i ocenia każdy zaraz po obejrzeniu. Ogólne zasady takich badań opisuje wpis eksperyment w ankiecie online krok po kroku; tu skupiamy się na tym, co zmienia oglądanie kilku reklam po kolei.

Dane są fikcyjne i znamy prawdę. Parametry ustaliliśmy ręcznie przed pierwszym uruchomieniem kodu. Średnia sympatia przy pierwszym obejrzeniu wynosi 4.7 (A), 4.9 (B), 5.4 (C) i 4.8 (D). Respondenci różnią się skłonnością do wysokich ocen (SD 0.8), a pojedyncza ocena ma szum (SD 1.2). W planie sekwencyjnym spot na pozycji 2, 3 i 4 dostaje ocenę niższą o 0.25, 0.40 i 0.50 punktu (efekt kolejności). Spot oglądany zaraz po spocie C traci dodatkowo 0.30 punktu (przeniesienie). Zapamiętanie marki wynosi 48%, 55%, 58% i 38% i spada z każdą kolejną pozycją. Ziarno 669 ustaliliśmy raz i nie zmienialiśmy go. Po pierwszym uruchomieniu nie zmienialiśmy parametrów danych – tylko zakres osi na rysunku 5 i dopisaliśmy test interakcji. Dane pobierzesz jako pre-test-kreacji-reklamowych-ankieta.csv (jeden wiersz = jedna ocena spotu).

Rysunek 1: plan monadyczny i sekwencyjny

To klasyczny wybór między schematem międzyobiektowym i wewnątrzobiektowym. Greenwald (1976) wskazuje, że główną zaletą schematu wewnątrzobiektowego jest efektywność, bo różnice między osobami znikają z błędu, a główną wadą – efekty kontekstu: wprawa, uwrażliwienie i przeniesienie.

Schemat dwóch planów pre-testu. Lewa strona, plan monadyczny: 800 respondentów losowo do jednego z czterech spotów, po 200 osób na spot A, B, C i D, po spocie pytania o zapamiętanie marki, sympatię i intencję; zaleta – ocena bez kontekstu innych spotów, wada – przy tej samej precyzji potrzeba kilka razy więcej osób. Prawa strona, plan sekwencyjny: 400 respondentów, cztery spoty w losowej kolejności, np. osoba 1: D, C, A, B; pierwszy spot każdej osoby wyróżniony jako mały test monadyczny; wada – efekt kolejności, średnia sympatia 5.04 na pozycji 1 i 4.38 na pozycji 4; zaleta – każdy jest swoją kontrolą
Rysunek 1. Dwa plany pre-testu czterech spotów; kolejności i liczby pochodzą z danych. Grafika: R, pakiet ggplot2 (dane fikcyjne, set.seed(669)).

Co widać. W planie monadycznym każda osoba ocenia spot tak, jak zobaczy go widz w przerwie reklamowej – bez porównania z innymi. W planie sekwencyjnym każda osoba ocenia wszystkie spoty, a pierwszy spot każdej osoby to w praktyce mały test monadyczny (po około 100 osób na spot).

Jak może zmylić. Schemat nie pokazuje kosztu czasu: cztery spoty wydłużają ankietę, a zmęczenie samo wywołuje efekt kolejności.

Podpis do pracy:

Rysunek 1. Schemat badania: plan monadyczny (każdy respondent ocenia jeden z czterech spotów) i plan sekwencyjny (każdy respondent ocenia cztery spoty w losowej kolejności). Uwaga. Respondentów przydzielono do planów losowo.

Plan monadyczny: wynik i wiele porównań

Analiza to średnie i odsetki w czterech niezależnych grupach.

Wskaźniki pre-testu w planie monadycznym
SpotnSympatia M [95% CI]Zapamiętanie markiIntencja (top-2-box)
A Upał w mieście2004.75 [4.56, 4.94]44.5%32.5%
B Rodzinny deser2004.71 [4.54, 4.88]55.0%29.5%
C Chrupiąca polewa2005.38 [5.19, 5.56]59.5%38.0%
D Pies i lody2004.63 [4.45, 4.81]36.5%27.5%

Spoty różnią się sympatią: F(3, 796) = 13.96, p < .001, η² = .050 (ANOVA). Cztery spoty to sześć par, więc rośnie ryzyko fałszywego alarmu – to problem wielokrotnych porównań. Po poprawce Holma (Holm, 1979) C jest lepszy od każdego z pozostałych (p < .001), a różnice między A, B i D znikają (bez korekty najmniejsze p = .355). Różnica C – B wynosi 0.67 punktu, 95% CI [0.41, 0.92]. Turniej wariantów, korekty i klątwę zwycięzcy szerzej omawia wpis test A/B z wieloma wariantami.

Spot D jest zabawny, ale markę zapamiętało tylko 36.5% osób wobec 53.0% w spotach A–C. Zapamiętany żart, zapomniany nadawca.

Zdanie do Wyników:

Spoty różniły się sympatią, F(3, 796) = 13.96, p < .001, η² = .050. Po korekcie Holma spot C (M = 5.38) oceniano wyżej niż każdy z pozostałych (p < .001); różnica wobec drugiego w kolejności spotu B wyniosła 0.67 punktu, 95% CI [0.41, 0.92].

Rysunek 2: pierwszy spot oceniany lepiej

To samo pytanie pada w planie sekwencyjnym cztery razy, a odpowiedź na czwartą reklamę zależy od trzech poprzednich – to odmiana efektu kolejności pytań, tylko zamiast pytań zmieniają się bodźce.

Dwa panele z punktami i 95% przedziałami ufności dla pozycji spotu 1–4 w planie sekwencyjnym. Sympatia: 5.04, 4.54, 4.45 i 4.38. Zapamiętanie marki: 51.2%, 40.2%, 37.8% i 31.2%. Linie przerywane – średnie z planu monadycznego – leżą między pierwszą a drugą pozycją
Rysunek 2. Średnia sympatia i odsetek zapamiętania marki według pozycji spotu w ankiecie (wszystkie spoty razem). Obliczenia: R, pakiety ggplot2 i patchwork (dane fikcyjne, set.seed(669)).

Co widać. Spot oglądany jako pierwszy dostaje średnio 5.04 punktu, a jako czwarty – 4.38. Zapamiętanie marki spada z 51.2% do 31.2%: w regresji logistycznej mieszanej każda kolejna pozycja zmniejsza szansę zapamiętania, OR = 0.73, 95% CI [0.66, 0.81]. Widać też efekt przeniesienia: spoty A, B i D oglądane zaraz po najlepszym spocie C dostały średnio 4.09 punktu (309 ocen), a po innym spocie – 4.40 (603 oceny).

Jak może zmylić. Losowa kolejność nie usuwa efektu, tylko rozkłada go mniej więcej równo między spoty. W naszych danych spot A był pierwszy 81 razy, a C – 112 razy, więc proste średnie i tak lekko faworyzują C. Lepiej zaplanować kontrbalansowanie: każdy spot na każdej pozycji tyle samo razy, np. w kwadracie łacińskim. Brooks (2012) pokazuje, że kontrbalansowanie jest niezbędne, gdy grożą przeniesienia, i podaje sposób budowy sekwencji zrównoważonych także pod względem tego, który warunek następuje po którym.

Podpis do pracy:

Rysunek 2. Średnia sympatia do spotu (skala 1–7) i odsetek zapamiętania marki według pozycji spotu w ankiecie w planie sekwencyjnym (N = 400). Uwaga. Słupki błędu – 95% przedziały ufności; linia przerywana – średnia w planie monadycznym.

Rysunek 3: model mieszany i cztery sposoby liczenia

Każdy respondent planu sekwencyjnego daje cztery oceny, które nie są niezależne – jedni oceniają wszystko łagodniej, inni surowiej. Dlatego analizujemy je modelem mieszanym (lme4; Bates i in., 2015): sympatia zależy od spotu, pozycji i tego, czy poprzedni był spot C, a respondent ma własny losowy wyraz wolny. Barr i in. (2013) zalecają, by w analizie konfirmacyjnej struktura efektów losowych była tak pełna, jak pozwala schemat; przy jednej ocenie spotu na osobę losowe nachylenia spotów nie dają się oszacować, więc zostaje wyraz wolny.

Model potwierdza oba efekty: pozycja 4 obniża ocenę o 0.55 punktu, a spot zaraz po C – o 0.31. ICC = .28, czyli ponad jedna czwarta zmienności ocen to stały styl respondenta. Różnica C – B wynosi 0.55, 95% CI [0.38, 0.72], t(1197) = 6.39, p < .001. Przedział jest węższy niż w planie monadycznym przy połowie osób.

Wykres przedziałów: dla każdego spotu cztery średnie sympatii z 95% przedziałami. Spot C: monadyczny 5.38, sekwencyjny tylko pierwszy spot 5.48, sekwencyjny wszystkie oceny 5.13, model mieszany dla pozycji 1 5.47. Spot B: 4.71, 4.82, 4.49 i 4.92. Średnie ze wszystkich ocen leżą wyraźnie niżej niż pozostałe, a przedziały z samego pierwszego spotu są najszersze
Rysunek 3. Średnia sympatia do każdego spotu z 95% przedziałami ufności według planu i sposobu analizy. Obliczenia: R, pakiety lme4, lmerTest i ggplot2 (dane fikcyjne, set.seed(669)).

Co widać. Średnie ze wszystkich ocen sekwencyjnych są przesunięte w dół (C: 5.13 wobec 5.38 w planie monadycznym), bo trzy z czterech ocen pochodzą z dalszych pozycji. Analiza samego pierwszego spotu trafia w poziom (C: 5.48), ale ma najszersze przedziały. Model mieszany przewiduje ocenę na pozycji 1 bez przeniesienia (C: 5.47) i ma wąskie przedziały. Różnica C – B: 0.67 (monadyczny), 0.66 (tylko pierwszy spot), 0.64 (wszystkie oceny) i 0.55 (model).

Jak może zmylić. Model zakłada, że różnice między spotami są takie same na każdej pozycji. Sprawdź to testem interakcji spot × pozycja – tu F(9, 1522) = 0.79, p = .629, ale brak istotności przy 400 osobach nie dowodzi braku interakcji. Gdy różnice słabną pod koniec ankiety, wiarygodny poziom daje tylko pierwszy spot. Średnich z planu sekwencyjnego nie porównuj z normami z testów monadycznych.

Podpis do pracy:

Rysunek 3. Średnia sympatia do czterech spotów (skala 1–7) z 95% przedziałami ufności: plan monadyczny, plan sekwencyjny – tylko spot oglądany jako pierwszy, wszystkie oceny oraz przewidywania modelu mieszanego dla pozycji 1. Uwaga. Model mieszany: spot, pozycja i spot poprzedzony spotem C jako efekty stałe, losowy wyraz wolny respondenta.

Zdanie do Wyników:

W planie sekwencyjnym oceny malały wraz z pozycją spotu (pozycja 4 wobec 1: b = −0.55, SE = 0.09), a spot oglądany bezpośrednio po spocie C oceniano niżej o 0.31 punktu (SE = 0.09). Po uwzględnieniu pozycji i przeniesienia spot C oceniano wyżej niż spot B, b = 0.55, 95% CI [0.38, 0.72], t(1197) = 6.39, p < .001.

Rysunek 4: który sposób trafia w prawdę – 1000 badań

Powtórzyliśmy cały pre-test 1000 razy z tymi samymi parametrami. Prawdziwa różnica C – B w planie monadycznym, po zaokrągleniu ocen do skali 1–7, wynosi 0.45 punktu. Dodaliśmy piąty wariant, który zdarza się w praktyce: wszyscy oglądają spoty w tej samej kolejności A → B → C → D.

Pięć rozkładów skrzypcowych oszacowania różnicy C minus B w 1000 badaniach, linia przerywana na prawdziwej wartości 0.45. Monadyczny: obciążenie 0.00, SD 0.13. Sekwencyjny tylko pierwszy spot: −0.01, SD 0.19, najszerszy rozkład. Sekwencyjny wszystkie oceny: +0.08, SD 0.09, rozkład przesunięty w górę. Sekwencyjny model z osobą: +0.01, SD 0.09, wąski i wyśrodkowany na prawdzie. Stała kolejność A, B, C, D: −0.12, SD 0.08, przesunięty w dół
Rysunek 4. Oszacowanie różnicy sympatii C – B w 1000 symulowanych badaniach według planu i sposobu analizy. Obliczenia: R, pakiet ggplot2 (dane fikcyjne, set.seed(6691)).

Co widać. Plan monadyczny trafia w prawdę (obciążenie 0.001) z rozrzutem SD = 0.135. Sam pierwszy spot z planu sekwencyjnego też jest nieobciążony, ale rozrzut rośnie do 0.194, bo osób na spot jest dwa razy mniej. Proste średnie ze wszystkich ocen zawyżają różnicę o 0.084: spot B bywa oglądany zaraz po C i traci na przeniesieniu, a sam C nigdy. Model z efektem osoby, pozycją i przeniesieniem ma obciążenie 0.012 i SD = 0.087, więc najmniejszy błąd średniokwadratowy (0.088 wobec 0.135 w planie monadycznym). Stała kolejność zaniża różnicę o 0.124: C stoi zawsze na dalszej pozycji niż B, a pozycji nie da się oddzielić od spotu żadnym modelem. Błąd Monte Carlo obciążeń wynosi 0.003–0.006.

Jak może zmylić. Model wygrywa, bo odpowiada mechanizmowi, który sami ustaliliśmy (drobne obciążenie 0.012 to skutek ucięcia skali na 1 i 7). Gdy prawdziwe przeniesienie działa inaczej, model z błędną jego postacią zostawi część obciążenia.

Podpis do pracy:

Rysunek 4. Rozkład oszacowania różnicy średniej sympatii między spotami C i B w 1000 symulowanych badaniach dla planu monadycznego (200 osób na spot) i sekwencyjnego (400 osób) przy różnych sposobach analizy oraz przy stałej kolejności spotów. Uwaga. Linia przerywana – prawdziwa różnica 0.45; pudełka – mediana i rozstęp międzykwartylowy.

Rysunek 5: ilu respondentów w każdym planie

Liczebność policzyliśmy dla różnicy C – B (0.45 punktu) i progu α = .05/6 (ostrożna poprawka na sześć par). Krzywe pochodzą ze wzoru na moc testu z rozrzutem oszacowań z symulacji, a krzyżyki – z 500 nowych badań dla każdej liczebności.

Dwie krzywe mocy w funkcji łącznej liczby respondentów od 100 do 1200. Plan sekwencyjny z modelem z efektem osoby przekracza 80% przy około 180 osobach i dochodzi do 100% przy 400. Plan monadyczny rośnie wolno: 17% przy 200 osobach, 37% przy 400, 77% przy 800 i przekracza 80% przy około 870. Krzyżyki z symulacji leżą na krzywych
Rysunek 5. Moc wykrycia różnicy sympatii C – B w zależności od łącznej liczby respondentów w planie monadycznym i sekwencyjnym. Obliczenia: R, pakiet ggplot2 (przybliżenie normalne; krzyżyki – symulacja, set.seed(6692)).

Co widać. Na moc 80% plan monadyczny potrzebuje 868 osób (217 na spot), a sekwencyjny – 180. Przy różnicy 0.25 punktu to 2824 wobec 586 osób. Symulacja zgadza się ze wzorem: przy 800 osobach moc planu monadycznego wyniosła 76.8% (błąd MC 1.9 pp), a przy 200 osobach planu sekwencyjnego – 87.6%. Ogólne zasady liczenia próby w eksperymentach ankietowych opisuje wpis liczebność próby w eksperymencie ankietowym.

Jak może zmylić. Ta przewaga dotyczy porównania spotów, nie poziomu wskaźnika. Jeśli spot ma przekroczyć próg z wcześniejszych testów monadycznych albo potrzebujesz poziomu z pierwszej ekspozycji, w planie sekwencyjnym liczy się tylko około N/4 osób na spot – tyle co w monadycznym.

Podpis do pracy:

Rysunek 5. Moc wykrycia różnicy 0.45 punktu w sympatii między dwoma spotami (α = .05/6) w zależności od łącznej liczby respondentów w planie monadycznym i sekwencyjnym. Uwaga. Linie – przybliżenie normalne; krzyżyki – odsetek istotnych wyników w 500 symulowanych badaniach; linia kropkowana – moc 80%.

Co z tym zrobić w marketingu

  • Wybór jednego spotu z kilku – plan sekwencyjny z losową, zrównoważoną kolejnością. Daje to samo rozstrzygnięcie co monadyczny przy mniej więcej pięć razy mniejszej próbie. Kolejność zapisz w danych – bez niej nie sprawdzisz efektu kolejności ani przeniesienia.
  • Ocena „czy spot jest dość dobry” wobec norm – plan monadyczny albo tylko pierwszy spot z planu sekwencyjnego. Średnie ze wszystkich pozycji są zaniżone.
  • Nigdy stała kolejność. Myli efekt spotu z efektem pozycji.
  • Nie wybieraj spotu po jednym wskaźniku. D przegrywa w zapamiętaniu marki mimo sympatii zbliżonej do A i B – kampania z takim spotem buduje rozpoznawalność żartu, nie marki.
  • Intencję zakupu traktuj ostrożnie. Morwitz i in. (2007) stwierdzili, że deklaracje silniej wiążą się z późniejszymi zakupami m.in. dla produktów istniejących niż nowych i przy pomiarze porównawczym niż monadycznym. Jak przełożyć deklaracje na zakup, pokazuje wpis deklaracja zakupu a faktyczny zakup.

Pre-test wskazuje spot; efekt kampanii po emisji zmierzysz osobno, np. badaniem brand lift. Siłą obu jest losowanie – gdy klienci sami wybierają udział (jak w programie lojalnościowym), potrzebne są inne narzędzia.

Jak opisać w pracy

W Metodzie opisz plan, liczbę osób, sposób losowania kolejności, wskaźniki i model, a w Wynikach – oszacowania z przedziałami i korektę na wiele porównań. Więcej o układzie takiego rozdziału: analiza eksperymentu ankietowego i statystyka w pracy z marketingu.

Metoda. W pre-teście czterech spotów reklamowych respondentów panelu internetowego (N = 1200) losowo przydzielono do planu monadycznego (n = 800; każdy oglądał jeden losowo wybrany spot, po 200 osób na spot) albo sekwencyjnego (n = 400; każdy oglądał cztery spoty w losowej kolejności). Po każdym spocie mierzono zapamiętanie marki, sympatię do spotu (skala 1–7; wskaźnik główny) i intencję zakupu (skala 1–5, odsetek odpowiedzi 4–5). W planie monadycznym spoty porównano jednoczynnikową ANOVA i testami t dla par z korektą Holma. W planie sekwencyjnym zastosowano liniowy model mieszany z efektami stałymi spotu, pozycji i spotu poprzedzającego (C) oraz losowym wyrazem wolnym respondenta.
Wyniki. W obu planach najwyżej oceniano spot C. W planie monadycznym różnica C – B wyniosła 0.67 punktu, 95% CI [0.41, 0.92], a w planie sekwencyjnym po uwzględnieniu pozycji i przeniesienia 0.55 punktu, 95% CI [0.38, 0.72]. Oceny malały wraz z pozycją spotu (5.04 na pozycji 1 i 4.38 na pozycji 4), podobnie jak zapamiętanie marki (OR = 0.73 na każdą kolejną pozycję, 95% CI [0.66, 0.81]). Spot D miał najniższe zapamiętanie marki (36.5% wobec 53.0% w pozostałych spotach).
Przykład reprodukowalny

Kod R: dane, model mieszany, symulacja i liczebność

Kod odtwarza wszystkie liczby z tekstu i pięć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy dane, paletę i motyw, a kolejne korzystają z jego obiektów (przepis 5 – także z wyników przepisu 4). Przepisy z rysunkami kończą się nazwą wykresu (p1–p5), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave(). Rysunki na tej stronie powstały z tych samych obiektów p1–p5, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne.

Każdy przepis, który losuje, zaczyna od własnego ziarna: set.seed(669) w przepisie 1 (dane), set.seed(6691) w przepisie 4 (1000 badań) i set.seed(6692) w przepisie 5 (500 badań na liczebność). Przepisy 2, 3, 6 i 7 nie losują. Ziarna ustalono raz i nie zmieniano ich. Ręcznie ustalono: średnie sympatii spotów, SD respondenta i reszty, przesunięcia na pozycjach 2–4, przeniesienie po spocie C, odsetki zapamiętania i jego spadek z pozycją, związek intencji z sympatią oraz liczebności 800 i 400 (przepis 1); próg α = .05/6 i różnicę 0.25 jako drugi scenariusz (przepis 5). Przepisy 4 i 5 liczą się po kilkadziesiąt sekund.

1. Dane: dwa plany pre-testu czterech spotów

Dane wejściowe: nic – liczby losuje kod. Na początku paleta Okabe–Ito kol, motyw motyw, ręcznie ustalone parametry i generator generuj().

Co odczytać: liczbę respondentów i ocen w obu planach oraz to, ile razy każdy spot trafił na pozycje 1–4; przepis zapisuje też plik CSV w katalogu roboczym.

R
# Przepis 1. Fikcyjna marka lodów: pre-test czterech spotów w ankiecie online, dwa plany badania
library(ggplot2)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw
kol <- c(monad = "#0072B2", pierwsza = "#E69F00", wszystkie = "grey45", model = "#009E73",
         stala = "#CC79A7", akcent = "#D55E00")
motyw <- theme_minimal(base_size = 14) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))

spoty <- c("A", "B", "C", "D")
nazwy <- c(A = "Upał w mieście", B = "Rodzinny deser", C = "Chrupiąca polewa", D = "Pies i lody")

# Parametry ustalone ręcznie przed pierwszym uruchomieniem.
# Sympatia do spotu (1–7) przy PIERWSZYM obejrzeniu – tak, jak w planie monadycznym:
mu_symp  <- c(A = 4.7, B = 4.9, C = 5.4, D = 4.8)
sd_osoba <- 0.8                            # różnice między respondentami (jedni oceniają łagodniej)
sd_reszta <- 1.2                           # szum pojedynczej oceny
przes_poz <- c(0, -0.25, -0.40, -0.50)     # efekt kolejności: spot na pozycji 2–4 oceniany niżej
po_C <- -0.30                              # przeniesienie (kontrast): spot zaraz po spocie C wypada gorzej
# Zapamiętanie marki (tak/nie) przy pierwszym obejrzeniu i spadek z każdą kolejną pozycją (logit):
p_zap <- c(A = .48, B = .55, C = .58, D = .38); zap_poz <- -0.30; sd_osoba_zap <- 0.8
# Intencja zakupu: odsetek „raczej/zdecydowanie kupię” rośnie z sympatią do spotu (logit):
int_a <- -5.2; int_b <- 0.85

# Generator: n_monad osób na spot w planie monadycznym i n_sekw osób w planie sekwencyjnym
# (każda widzi cztery spoty w losowej kolejności; stala = TRUE – wszyscy w kolejności A, B, C, D)
generuj <- function(n_monad = 200, n_sekw = 400, stala = FALSE) {
  m <- data.frame(osoba = seq_len(4 * n_monad), plan = "monadyczny",
                  spot = sample(rep(spoty, n_monad)), pozycja = 1L, poprzedni = "brak")
  kolej <- if (stala) matrix(spoty, n_sekw, 4, byrow = TRUE) else t(replicate(n_sekw, sample(spoty)))
  s <- data.frame(osoba = 4 * n_monad + rep(seq_len(n_sekw), each = 4), plan = "sekwencyjny",
                  spot = as.vector(t(kolej)), pozycja = rep(1:4, n_sekw),
                  poprzedni = as.vector(t(cbind("brak", kolej[, 1:3]))))
  d <- rbind(m, s)
  u <- rnorm(max(d$osoba), 0, sd_osoba)[d$osoba]            # skłonność osoby do wysokich ocen
  v <- rnorm(max(d$osoba), 0, sd_osoba_zap)[d$osoba]        # skłonność osoby do zapamiętywania
  ukryta <- mu_symp[d$spot] + przes_poz[d$pozycja] + po_C * (d$poprzedni == "C") + u + rnorm(nrow(d), 0, sd_reszta)
  d$sympatia <- pmin(7, pmax(1, round(ukryta)))
  d$zapamietanie <- rbinom(nrow(d), 1, plogis(qlogis(p_zap[d$spot]) + zap_poz * (d$pozycja - 1) + v))
  d$intencja_top2 <- rbinom(nrow(d), 1, plogis(int_a + int_b * ukryta))
  d$spot <- factor(d$spot, levels = spoty)
  d
}

set.seed(669)                                  # ziarno ustalone raz, bez dobierania pod wynik
ankieta <- generuj()
write.csv(ankieta, "pre-test-kreacji-reklamowych-ankieta.csv", row.names = FALSE)
monad <- subset(ankieta, plan == "monadyczny")
sekw  <- subset(ankieta, plan == "sekwencyjny")

cat("Respondenci:", length(unique(monad$osoba)), "w planie monadycznym,", length(unique(sekw$osoba)),
    "w sekwencyjnym; ocen spotów:", nrow(monad), "i", nrow(sekw), "\n")
print(table(plan = ankieta$plan, spot = ankieta$spot))
cat("Kolejność w planie sekwencyjnym – ile razy spot był na pozycji 1–4:\n")
print(table(spot = sekw$spot, pozycja = sekw$pozycja))
Wynik w R
Respondenci: 800 w planie monadycznym, 400 w sekwencyjnym; ocen spotów: 800 i 1600 
             spot
plan            A   B   C   D
  monadyczny  200 200 200 200
  sekwencyjny 400 400 400 400
Kolejność w planie sekwencyjnym – ile razy spot był na pozycji 1–4:
    pozycja
spot   1   2   3   4
   A  81 101 114 104
   B 107  89  94 110
   C 112  97 100  91
   D 100 113  92  95

2. Plan monadyczny: średnie, ANOVA i poprawka Holma

Dane wejściowe: monad i spoty z przepisu 1.

Co odczytać: średnie z 95% CI, odsetki zapamiętania i intencji, wynik ANOVA, p dla sześciu par bez korekty i po korekcie Holma oraz różnicę C – B.

R
# Przepis 2. Plan monadyczny: każdy respondent ocenia jeden spot (korzysta z monad i spoty z przepisu 1)
srednia_ci <- function(y) { t <- t.test(y); c(M = mean(y), lo = t$conf.int[1], hi = t$conf.int[2]) }
fp <- function(p) if (p < .001) "p < .001" else sub("0\\.", ".", sprintf("p = %.3f", p))   # zapis p w stylu APA
odsetek_ci <- function(y) { b <- binom.test(sum(y), length(y)); 100 * c(p = mean(y), lo = b$conf.int[1], hi = b$conf.int[2]) }

tab_m <- do.call(rbind, lapply(spoty, function(s) {
  x <- monad[monad$spot == s, ]
  data.frame(spot = s, n = nrow(x), t(srednia_ci(x$sympatia)), SD = sd(x$sympatia),
             zap = odsetek_ci(x$zapamietanie)[1], int = odsetek_ci(x$intencja_top2)[1])
}))
print(within(tab_m, { M <- round(M, 2); lo <- round(lo, 2); hi <- round(hi, 2); SD <- round(SD, 2)
                      zap <- round(zap, 1); int <- round(int, 1) }), row.names = FALSE)

# Czy spoty różnią się sympatią? ANOVA jednoczynnikowa
a <- anova(lm(sympatia ~ spot, data = monad))
cat(sprintf("\nANOVA: F(%d, %d) = %.2f, %s, eta2 = %.3f\n", a$Df[1], a$Df[2], a$`F value`[1], fp(a$`Pr(>F)`[1]),
            a$`Sum Sq`[1] / sum(a$`Sum Sq`)))

# Sześć par spotów: p bez korekty i z poprawką Holma (wspólne SD, jak w ANOVA)
p_bez  <- pairwise.t.test(monad$sympatia, monad$spot, p.adjust.method = "none")$p.value
p_holm <- pairwise.t.test(monad$sympatia, monad$spot, p.adjust.method = "holm")$p.value
pary <- which(!is.na(p_bez), arr.ind = TRUE)
print(data.frame(para = paste(rownames(p_bez)[pary[, 1]], "–", colnames(p_bez)[pary[, 2]]),
                 roznica = round(sapply(seq_len(nrow(pary)), function(i)
                   tab_m$M[tab_m$spot == rownames(p_bez)[pary[i, 1]]] - tab_m$M[tab_m$spot == colnames(p_bez)[pary[i, 2]]]), 2),
                 p_bez = round(p_bez[pary], 4), p_holm = round(p_holm[pary], 4)), row.names = FALSE)

# Najlepszy spot wobec drugiego: C – B z 95% CI (test t Welcha)
tw <- t.test(monad$sympatia[monad$spot == "C"], monad$sympatia[monad$spot == "B"])
cat(sprintf("\nC – B: %.2f, 95%% CI [%.2f, %.2f], t(%.1f) = %.2f, %s\n", diff(rev(tw$estimate)),
            tw$conf.int[1], tw$conf.int[2], tw$parameter, tw$statistic, fp(tw$p.value)))
# Zapamiętanie marki: D wobec średniej pozostałych spotów
cat(sprintf("Zapamiętanie marki: D %.1f%% wobec %.1f%% w spotach A–C\n",
            100 * mean(monad$zapamietanie[monad$spot == "D"]), 100 * mean(monad$zapamietanie[monad$spot != "D"])))
Wynik w R
 spot   n    M   lo   hi   SD  zap  int
    A 200 4.75 4.56 4.94 1.35 44.5 32.5
    B 200 4.71 4.54 4.88 1.21 55.0 29.5
    C 200 5.38 5.19 5.56 1.33 59.5 38.0
    D 200 4.63 4.45 4.81 1.30 36.5 27.5

ANOVA: F(3, 796) = 13.96, p < .001, eta2 = 0.050
  para roznica  p_bez p_holm
 B – A   -0.04 0.7580      1
 C – A    0.62 0.0000      0
 D – A   -0.12 0.3553      1
 C – B    0.66 0.0000      0
 D – B   -0.08 0.5377      1
 D – C   -0.75 0.0000      0

C – B: 0.67, 95% CI [0.41, 0.92], t(394.8) = 5.23, p < .001
Zapamiętanie marki: D 36.5% wobec 53.0% w spotach A–C

3. Plan sekwencyjny: kolejność, przeniesienie i model mieszany: Rysunki 2 i 3

Dane wejściowe: monad, sekw, tab_m, funkcje srednia_ci() i odsetek_ci() z przepisów 1–2.

Co odczytać: wskaźniki według pozycji, oceny po spocie C i po innym, współczynniki modelu mieszanego, ICC, kontrast C – B, test interakcji, cztery oszacowania średnich i OR zapamiętania na pozycję.

R
# Przepis 3. Plan sekwencyjny: efekt kolejności, przeniesienie i model mieszany: Rysunki 2 i 3
# (korzysta z monad, sekw, tab_m, srednia_ci, odsetek_ci, fp, spoty, kol i motyw z przepisów 1–2)
library(ggplot2); library(patchwork); library(lme4); library(lmerTest)

# 1. Ocena i zapamiętanie w zależności od pozycji spotu (wszystkie spoty razem)
poz <- do.call(rbind, lapply(1:4, function(k) {
  x <- sekw[sekw$pozycja == k, ]
  rbind(data.frame(wskaznik = "Sympatia do spotu (1–7)", pozycja = k, t(srednia_ci(x$sympatia))),
        data.frame(wskaznik = "Zapamiętanie marki (%)", pozycja = k, setNames(as.list(odsetek_ci(x$zapamietanie)), c("M", "lo", "hi"))))
}))
print(within(poz, { M <- round(M, 2); lo <- round(lo, 2); hi <- round(hi, 2) }), row.names = FALSE)
odn <- data.frame(wskaznik = c("Sympatia do spotu (1–7)", "Zapamiętanie marki (%)"),
                  y = c(mean(monad$sympatia), 100 * mean(monad$zapamietanie)))
p2 <- ggplot(poz, aes(pozycja, M)) +
  geom_hline(data = odn, aes(yintercept = y), linetype = "dashed", colour = kol[["monad"]]) +
  geom_errorbar(aes(ymin = lo, ymax = hi), width = 0.12, colour = kol[["wszystkie"]]) +
  geom_line(colour = kol[["akcent"]], linewidth = 0.9) + geom_point(colour = kol[["akcent"]], size = 3) +
  geom_text(aes(label = ifelse(M > 10, sprintf("%.1f", M), sprintf("%.2f", M))), nudge_x = 0.22, size = 4, colour = "grey15") +
  facet_wrap(~ wskaznik, scales = "free_y") + scale_x_continuous(breaks = 1:4, labels = paste0(1:4, "."), limits = c(0.8, 4.4)) +
  labs(title = "Im później spot w ankiecie, tym niższe wskaźniki",
       subtitle = "Plan sekwencyjny, 400 osób; linia przerywana – średnia z planu monadycznego",
       x = "Pozycja spotu w ankiecie", y = NULL) + motyw

# 2. Przeniesienie: ocena spotu zaraz po spocie C vs po innym spocie (pozycje 2–4)
dalej <- subset(sekw, pozycja > 1 & spot != "C")
cat(sprintf("\nSpoty A, B, D na pozycjach 2–4: po spocie C M = %.2f (n = %d), po innym M = %.2f (n = %d)\n",
            mean(dalej$sympatia[dalej$poprzedni == "C"]), sum(dalej$poprzedni == "C"),
            mean(dalej$sympatia[dalej$poprzedni != "C"]), sum(dalej$poprzedni != "C")))

# 3. Model mieszany: spot + pozycja + „zaraz po C” + losowy wyraz wolny respondenta
sekw$poz_f <- factor(sekw$pozycja); sekw$po_C <- as.integer(sekw$poprzedni == "C")
mm <- lmer(sympatia ~ spot + poz_f + po_C + (1 | osoba), data = sekw)
print(round(coef(summary(mm)), 3))
vc <- as.data.frame(VarCorr(mm))
cat(sprintf("SD respondenta = %.2f, SD reszty = %.2f, ICC = %.2f\n", vc$sdcor[1], vc$sdcor[2], vc$vcov[1] / sum(vc$vcov)))
L <- c(0, -1, 1, 0, 0, 0, 0, 0)                 # kontrast C – B (współczynniki: B, C, D, pozycje 2–4, po_C)
cb <- contest(mm, L, joint = FALSE, confint = TRUE)
cat(sprintf("Model mieszany C – B: %.2f, 95%% CI [%.2f, %.2f], t(%.0f) = %.2f, %s\n",
            cb$Estimate, cb$lower, cb$upper, cb$df, cb$`t value`, fp(cb$`Pr(>|t|)`)))
# To samo oszacowanie z regresji na odchyleniach od średniej respondenta (efekty stałe osoby) – używa go symulacja
odch <- function(x) x - ave(x, sekw$osoba)
X <- model.matrix(~ spot + poz_f + po_C, sekw)[, -1]
fe <- lm(odch(sekw$sympatia) ~ 0 + apply(X, 2, odch))
cat(sprintf("Efekty stałe osoby C – B: %.2f\n", coef(fe)[2] - coef(fe)[1]))
# Czy różnice między spotami zależą od pozycji (np. spłaszczenie ocen pod koniec)? Test interakcji spot × pozycja
mm_i <- lmer(sympatia ~ spot * poz_f + po_C + (1 | osoba), data = sekw)
ai <- anova(mm_i)["spot:poz_f", ]
cat(sprintf("Interakcja spot × pozycja: F(%.0f, %.0f) = %.2f, %s\n", ai$NumDF, ai$DenDF, ai$`F value`, fp(ai$`Pr(>F)`)))

# 4. Cztery oszacowania średniej sympatii dla każdego spotu (Rysunek 3)
sr <- function(d, metoda) do.call(rbind, lapply(spoty, function(s) data.frame(metoda = metoda, spot = s, t(srednia_ci(d$sympatia[d$spot == s])))))
b <- fixef(mm); V <- vcov(mm)
pred <- do.call(rbind, lapply(spoty, function(s) {
  l <- c(1, s == "B", s == "C", s == "D", 0, 0, 0, 0); m <- sum(l * b); se <- sqrt(drop(t(l) %*% V %*% l))
  data.frame(metoda = "Sekwencyjny: model mieszany (pozycja 1)", spot = s, M = m, lo = m - 1.96 * se, hi = m + 1.96 * se)
}))
est <- rbind(data.frame(metoda = "Monadyczny (200 osób na spot)", tab_m[, c("spot", "M", "lo", "hi")]),
             sr(subset(sekw, pozycja == 1), "Sekwencyjny: tylko pierwszy spot"),
             sr(sekw, "Sekwencyjny: wszystkie oceny"), pred)
est$metoda <- factor(est$metoda, levels = unique(est$metoda))
cat("\nŚrednia sympatia (95% CI) według sposobu analizy:\n")
print(within(est, { M <- round(M, 2); lo <- round(lo, 2); hi <- round(hi, 2) }), row.names = FALSE)
roz <- aggregate(M ~ metoda, est, function(m) m[3] - m[2])
cat("Różnica C – B według sposobu analizy:\n"); print(transform(roz, M = sprintf("%.2f", M)), row.names = FALSE)
p3 <- ggplot(est, aes(M, spot, colour = metoda, shape = metoda)) +
  geom_errorbar(aes(xmin = lo, xmax = hi), width = 0, orientation = "y", linewidth = 0.8, position = position_dodge(width = 0.7)) +
  geom_point(size = 2.8, position = position_dodge(width = 0.7)) +
  scale_colour_manual(values = unname(kol[c("monad", "pierwsza", "wszystkie", "model")])) +
  scale_shape_manual(values = c(16, 17, 15, 18)) + scale_y_discrete(limits = rev(spoty), labels = rev(paste(spoty, nazwy[spoty], sep = " – "))) +
  guides(colour = guide_legend(ncol = 2), shape = guide_legend(ncol = 2)) +
  labs(title = "Ten sam spot, cztery sposoby liczenia", subtitle = "Średnia sympatia z 95% CI",
       x = "Sympatia do spotu (1–7)", y = NULL, colour = NULL, shape = NULL) + motyw

# 5. Zapamiętanie marki: regresja logistyczna mieszana z pozycją
gm <- glmer(zapamietanie ~ spot + pozycja + (1 | osoba), data = sekw, family = binomial)
ci <- confint(gm, parm = "pozycja", method = "Wald")
cat(sprintf("\nZapamiętanie: OR na każdą kolejną pozycję = %.2f, 95%% CI [%.2f, %.2f]\n",
            exp(fixef(gm)["pozycja"]), exp(ci[1]), exp(ci[2])))
p2
p3
Wynik w R
                wskaznik pozycja     M    lo    hi
 Sympatia do spotu (1–7)       1  5.04  4.90  5.18
  Zapamiętanie marki (%)       1 51.25 46.23 56.25
 Sympatia do spotu (1–7)       2  4.54  4.40  4.69
  Zapamiętanie marki (%)       2 40.25 35.41 45.24
 Sympatia do spotu (1–7)       3  4.45  4.30  4.60
  Zapamiętanie marki (%)       3 37.75 32.98 42.70
 Sympatia do spotu (1–7)       4  4.38  4.25  4.52
  Zapamiętanie marki (%)       4 31.25 26.74 36.04

Spoty A, B, D na pozycjach 2–4: po spocie C M = 4.09 (n = 309), po innym M = 4.40 (n = 603)
            Estimate Std. Error       df t value Pr(>|t|)
(Intercept)    4.880      0.090 1582.110  54.230    0.000
spotB          0.038      0.085 1193.303   0.443    0.658
spotC          0.591      0.088 1198.848   6.731    0.000
spotD         -0.061      0.085 1193.153  -0.726    0.468
poz_f2        -0.382      0.088 1198.533  -4.354    0.000
poz_f3        -0.496      0.087 1197.214  -5.710    0.000
poz_f4        -0.547      0.087 1197.346  -6.289    0.000
po_C          -0.313      0.085 1274.133  -3.695    0.000
SD respondenta = 0.75, SD reszty = 1.19, ICC = 0.28
Model mieszany C – B: 0.55, 95% CI [0.38, 0.72], t(1197) = 6.39, p < .001
Efekty stałe osoby C – B: 0.55
Interakcja spot × pozycja: F(9, 1522) = 0.79, p = .629

Średnia sympatia (95% CI) według sposobu analizy:
                                  metoda spot    M   lo   hi
           Monadyczny (200 osób na spot)    A 4.75 4.56 4.94
           Monadyczny (200 osób na spot)    B 4.71 4.54 4.88
           Monadyczny (200 osób na spot)    C 5.38 5.19 5.56
           Monadyczny (200 osób na spot)    D 4.63 4.45 4.81
        Sekwencyjny: tylko pierwszy spot    A 4.94 4.63 5.25
        Sekwencyjny: tylko pierwszy spot    B 4.82 4.56 5.09
        Sekwencyjny: tylko pierwszy spot    C 5.48 5.24 5.73
        Sekwencyjny: tylko pierwszy spot    D 4.86 4.56 5.16
            Sekwencyjny: wszystkie oceny    A 4.41 4.27 4.55
            Sekwencyjny: wszystkie oceny    B 4.49 4.36 4.63
            Sekwencyjny: wszystkie oceny    C 5.13 4.99 5.27
            Sekwencyjny: wszystkie oceny    D 4.39 4.24 4.54
 Sekwencyjny: model mieszany (pozycja 1)    A 4.88 4.70 5.06
 Sekwencyjny: model mieszany (pozycja 1)    B 4.92 4.75 5.09
 Sekwencyjny: model mieszany (pozycja 1)    C 5.47 5.30 5.64
 Sekwencyjny: model mieszany (pozycja 1)    D 4.82 4.65 4.99
Różnica C – B według sposobu analizy:
                                  metoda    M
           Monadyczny (200 osób na spot) 0.67
        Sekwencyjny: tylko pierwszy spot 0.66
            Sekwencyjny: wszystkie oceny 0.64
 Sekwencyjny: model mieszany (pozycja 1) 0.55

Zapamiętanie: OR na każdą kolejną pozycję = 0.73, 95% CI [0.66, 0.81]

4. Symulacja 1000 badań: Rysunek 4

Dane wejściowe: generuj() i parametry z przepisu 1. Funkcja efekt_osoby() liczy model z efektem respondenta na odchyleniach od średniej osoby – przy pełnym planie daje to samo oszacowanie różnicy spotów co model mieszany (przepis 3: 0.55 i 0.55), a liczy się wielokrotnie szybciej.

Co odczytać: prawdziwą różnicę C – B oraz średnią, obciążenie, SD, RMSE i błąd Monte Carlo obciążenia dla pięciu sposobów.

R
# Przepis 4. 1000 badań: pięć sposobów oszacowania różnicy C – B: Rysunek 4
# (korzysta z generuj, mu_symp, sd_osoba, sd_reszta, spoty, kol i motyw z przepisu 1)
library(ggplot2)

# Prawdziwa różnica C – B w planie monadycznym na skali 1–7 (po zaokrągleniu i ucięciu ocen)
sd_c <- sqrt(sd_osoba^2 + sd_reszta^2)
e_ocena <- function(m) { k <- 1:7; g <- c(-Inf, 1.5:6.5, Inf); sum(k * diff(pnorm(g, m, sd_c))) }
prawda <- e_ocena(mu_symp[["C"]]) - e_ocena(mu_symp[["B"]])
cat(sprintf("Prawdziwa różnica C – B (plan monadyczny, skala 1–7): %.3f\n", prawda))

# Model z efektem respondenta liczony na odchyleniach od średniej osoby (szybki odpowiednik modelu mieszanego)
efekt_osoby <- function(d) {
  odch <- function(x) x - ave(x, d$osoba)
  X <- model.matrix(~ spot + factor(pozycja) + I(poprzedni == "C"), d)[, -1]
  b <- lm.fit(apply(X, 2, odch), odch(d$sympatia))$coefficients
  c(A = 0, B = b[[1]], C = b[[2]], D = b[[3]])
}
srednie <- function(d) tapply(d$sympatia, d$spot, mean)

set.seed(6691)                                   # osobne ziarno symulacji, ustalone raz
R <- 1000
wyn <- do.call(rbind, lapply(seq_len(R), function(r) {
  d <- generuj()
  s <- subset(d, plan == "sekwencyjny")
  st <- subset(generuj(n_monad = 1, n_sekw = 400, stala = TRUE), plan == "sekwencyjny")
  ocen <- list("Monadyczny\n(200 na spot)" = srednie(subset(d, plan == "monadyczny")),
               "Sekwencyjny:\ntylko pierwszy" = srednie(subset(s, pozycja == 1)),
               "Sekwencyjny:\nwszystkie oceny" = srednie(s),
               "Sekwencyjny:\nmodel z osobą" = efekt_osoby(s),
               "Stała kolejność\nA→B→C→D" = srednie(st))
  data.frame(r = r, metoda = names(ocen), cb = sapply(ocen, function(o) o[["C"]] - o[["B"]]))
}))
wyn$metoda <- factor(wyn$metoda, levels = unique(wyn$metoda))
pod <- do.call(rbind, lapply(split(wyn, wyn$metoda), function(x) data.frame(
  metoda = x$metoda[1], srednia = mean(x$cb), obciazenie = mean(x$cb) - prawda, SD = sd(x$cb),
  RMSE = sqrt(mean((x$cb - prawda)^2)))))
pod$blad_MC_obc <- pod$SD / sqrt(R)
print(transform(pod, metoda = gsub("\n", " ", metoda), srednia = round(srednia, 3), obciazenie = round(obciazenie, 3),
                SD = round(SD, 3), RMSE = round(RMSE, 3), blad_MC_obc = round(blad_MC_obc, 3)), row.names = FALSE)

p4 <- ggplot(wyn, aes(metoda, cb)) +
  geom_hline(yintercept = prawda, linetype = "dashed", colour = kol[["akcent"]]) +
  geom_violin(aes(fill = metoda), colour = NA, alpha = 0.55, scale = "width", width = 0.8) +
  geom_boxplot(width = 0.14, outlier.shape = NA, fill = "white", colour = "grey25") +
  geom_text(data = pod, aes(y = -0.25, label = sub("-", "−", sprintf("obciążenie %+.2f\nSD %.2f", obciazenie, SD))),
            size = 3.7, colour = "grey15", lineheight = 0.95) +
  annotate("text", x = 0.45, y = 1.25, label = sprintf("linia przerywana – prawda: %.2f", prawda), hjust = 0, size = 3.8, colour = kol[["akcent"]]) +
  scale_fill_manual(values = unname(kol[c("monad", "pierwsza", "wszystkie", "model", "stala")]), guide = "none") +
  scale_y_continuous(limits = c(-0.4, 1.3), breaks = seq(0, 1.2, 0.2)) +
  labs(title = "Różnica C – B w 1000 badaniach", subtitle = "Ten sam spot, różne plany i sposoby analizy",
       x = NULL, y = "Oszacowanie różnicy sympatii C – B") + motyw
p4
Wynik w R
Prawdziwa różnica C – B (plan monadyczny, skala 1–7): 0.451
                       metoda srednia obciazenie    SD  RMSE blad_MC_obc
     Monadyczny (200 na spot)   0.452      0.001 0.135 0.135       0.004
  Sekwencyjny: tylko pierwszy   0.442     -0.009 0.194 0.194       0.006
 Sekwencyjny: wszystkie oceny   0.535      0.084 0.086 0.120       0.003
   Sekwencyjny: model z osobą   0.463      0.012 0.087 0.088       0.003
      Stała kolejność A→B→C→D   0.327     -0.124 0.084 0.150       0.003

5. Liczebność próby w obu planach: Rysunek 5

Dane wejściowe: generuj() z przepisu 1 oraz prawda i pod z przepisu 4.

Co odczytać: liczbę respondentów na moc 80% dla różnicy 0.45 i 0.25 oraz moc z 500 symulacji (z błędem MC) obok wartości ze wzoru.

R
# Przepis 5. Ilu respondentów potrzeba w obu planach? Moc testu różnicy C – B: Rysunek 5
# (korzysta z generuj, efekt_osoby, prawda i pod z przepisów 1 i 4 oraz kol i motyw z przepisu 1)
library(ggplot2)

alfa <- .05 / 6                                  # sześć par spotów, ostrożnie: próg Bonferroniego
z_a <- qnorm(1 - alfa / 2)
sd_m <- pod$SD[1]; sd_s <- pod$SD[4]             # rozrzut oszacowań C – B z 1000 badań (800 i 400 osób)
moc <- function(se, d) pnorm(d / se - z_a) + pnorm(-d / se - z_a)
N <- seq(100, 1200, by = 20)                     # łączna liczba respondentów
krzywe <- rbind(data.frame(plan = "Monadyczny (N/4 osób na spot)", N = N, moc = moc(sd_m * sqrt(800 / N), prawda)),
                data.frame(plan = "Sekwencyjny, model z osobą", N = N, moc = moc(sd_s * sqrt(400 / N), prawda)))
n80 <- function(sd0, n0, d) n0 * (sd0 * (z_a + qnorm(.80)) / d)^2
for (d in c(prawda, 0.25))
  cat(sprintf("Różnica %.2f, moc 80%%: monadyczny N = %.0f, sekwencyjny N = %.0f\n", d, n80(sd_m, 800, d), n80(sd_s, 400, d)))

# Sprawdzenie symulacją: 500 badań dla N = 200, 400 i 800
istotny_s <- function(s) {                       # test C – B w modelu z efektem osoby
  odch <- function(x) x - ave(x, s$osoba)
  X <- apply(model.matrix(~ spot + factor(pozycja) + I(poprzedni == "C"), s)[, -1], 2, odch)
  f <- lm.fit(X, odch(s$sympatia)); df <- nrow(s) - length(unique(s$osoba)) - ncol(X)
  V <- sum(f$residuals^2) / df * chol2inv(f$qr$qr[1:ncol(X), 1:ncol(X)])
  l <- c(-1, 1, rep(0, ncol(X) - 2)); est <- sum(l * f$coefficients)
  2 * pt(-abs(est / sqrt(drop(t(l) %*% V %*% l))), df) < alfa
}
set.seed(6692)                                   # osobne ziarno symulacji mocy
sym <- do.call(rbind, lapply(c(200, 400, 800), function(n) {
  r <- replicate(500, {
    d <- generuj(n_monad = n / 4, n_sekw = n)
    m <- subset(d, plan == "monadyczny")
    c(t.test(m$sympatia[m$spot == "C"], m$sympatia[m$spot == "B"], var.equal = TRUE)$p.value < alfa,
      istotny_s(subset(d, plan == "sekwencyjny")))
  })
  data.frame(plan = c("Monadyczny (N/4 osób na spot)", "Sekwencyjny, model z osobą"), N = n, moc = rowMeans(r))
}))
sym$blad_MC <- sqrt(sym$moc * (1 - sym$moc) / 500)
print(transform(sym, moc = round(100 * moc, 1), blad_MC = round(100 * blad_MC, 1),
                wzor = round(100 * moc(ifelse(grepl("Mon", plan), sd_m * sqrt(800 / N), sd_s * sqrt(400 / N)), prawda), 1)),
      row.names = FALSE)

p5 <- ggplot(krzywe, aes(N, 100 * moc, colour = plan)) +
  geom_hline(yintercept = 80, linetype = "dotted", colour = "grey40") +
  geom_line(linewidth = 1.1) +
  geom_point(data = sym, shape = 4, size = 3.2, stroke = 1.2, colour = "black") +
  scale_colour_manual(values = unname(kol[c("monad", "model")])) +
  scale_x_continuous(breaks = seq(200, 1200, 200)) + scale_y_continuous(limits = c(0, 100)) +
  labs(title = sprintf("Moc wykrycia różnicy C – B (%.2f pkt)", prawda), subtitle = "Próg α = .05/6; krzyżyki – 500 symulowanych badań",
       x = "Łączna liczba respondentów N", y = "Moc (%)", colour = NULL) + motyw
p5
Wynik w R
Różnica 0.45, moc 80%: monadyczny N = 868, sekwencyjny N = 180
Różnica 0.25, moc 80%: monadyczny N = 2824, sekwencyjny N = 586
                          plan   N   moc blad_MC  wzor
 Monadyczny (N/4 osób na spot) 200  17.0     1.7  16.7
    Sekwencyjny, model z osobą 200  87.6     1.5  84.8
 Monadyczny (N/4 osób na spot) 400  37.2     2.2  39.1
    Sekwencyjny, model z osobą 400 100.0     0.0  99.5
 Monadyczny (N/4 osób na spot) 800  76.8     1.9  75.9
    Sekwencyjny, model z osobą 800 100.0     0.0 100.0

6. Grafika: schemat dwóch planów (Rysunek 1)

Dane wejściowe: monad, sekw i poz z przepisów 1–3.

Co odczytać: rysunek; liczby na kartach pochodzą z danych.

R
# Przepis 6. Grafika: dwa plany pre-testu obok siebie (Rysunek 1)
# (korzysta z monad, sekw, poz, kol i motyw z przepisów 1–3)
library(ggplot2)

f2 <- function(x) formatC(x, format = "f", digits = 2)
kolejnosci <- sapply(split(as.character(sekw$spot), sekw$osoba)[1:3], identity)   # pierwsze trzy osoby planu sekwencyjnego
s1 <- poz$M[poz$wskaznik == "Sympatia do spotu (1–7)"]
ramki <- data.frame(
  x = rep(c(2.3, 7.7), each = 4), y = rep(c(5.25, 2.05, 0.75, -0.35), 2),
  rodzaj = c("start", "ocena", "plus", "minus", "start", "ocena", "minus", "plus"),
  tekst = c(paste(length(unique(monad$osoba)), "respondentów, losowo do 1 z 4 spotów"),
            "po spocie: zapamiętanie marki, sympatia, intencja",
            "+ ocena bez kontekstu innych spotów\n(jak jedna reklama w przerwie)",
            "− przy tej samej precyzji\npotrzeba kilka razy więcej osób",
            paste(length(unique(sekw$osoba)), "respondentów, 4 spoty w losowej kolejności"),
            "ocena po każdym spocie; analiza: model mieszany\nalbo tylko spot na pozycji 1",
            paste0("− efekt kolejności: średnia sympatia\n", f2(s1[1]), " na pozycji 1, ", f2(s1[4]), " na pozycji 4"),
            "+ każdy jest swoją kontrolą:\nmniejsza próba"))
# Plan monadyczny: cztery grupy po jednym spocie
grupy_m <- data.frame(x = 2.3 + c(-1.5, -0.5, 0.5, 1.5), y = 3.65, spot = c("A", "B", "C", "D"),
                      tekst = paste0(as.vector(table(monad$spot)), " osób\nspot ", c("A", "B", "C", "D")))
# Plan sekwencyjny: kolejność spotów u trzech pierwszych osób
kafle <- data.frame(x = 7.7 + rep(c(-0.9, -0.3, 0.3, 0.9), 3), y = rep(c(4.3, 3.65, 3.0), each = 4),
                    spot = as.vector(kolejnosci), pierwszy = rep(c(TRUE, FALSE, FALSE, FALSE), 3))
osoby <- data.frame(x = 7.7 - 1.55, y = c(4.3, 3.65, 3.0), tekst = paste("osoba", 1:3))
wyp <- c(start = "grey93", ocena = "#DCEBF7", plus = "#E3F2EA", minus = "#FBE3D3")
ram <- c(start = "grey55", ocena = "#0072B2", plus = "#009E73", minus = "#D55E00")
strz <- data.frame(x = c(2.3, 2.3, 7.7, 7.7), xend = c(2.3, 2.3, 7.7, 7.7), y = c(4.98, 3.2, 4.98, 2.7), yend = c(4.25, 2.32, 4.6, 2.32))

p1 <- ggplot() +
  annotate("text", x = c(2.3, 7.7), y = 6.05, label = c("Plan monadyczny: każdy widzi 1 spot", "Plan sekwencyjny: każdy widzi 4 spoty"),
           fontface = "bold", size = 5.2, colour = "#0f1d3a") +
  geom_rect(data = ramki, aes(xmin = x - 2.35, xmax = x + 2.35, ymin = y - 0.42, ymax = y + 0.42, fill = rodzaj, colour = rodzaj), linewidth = 0.7) +
  geom_text(data = ramki, aes(x, y, label = tekst), size = 3.9, lineheight = 0.95, colour = "grey10") +
  geom_segment(data = strz, aes(x = x, xend = xend, y = y, yend = yend), arrow = arrow(length = unit(2.2, "mm")), colour = "grey40") +
  geom_rect(data = grupy_m, aes(xmin = x - 0.44, xmax = x + 0.44, ymin = y - 0.45, ymax = y + 0.45), fill = "white", colour = kol[["monad"]], linewidth = 0.8) +
  geom_text(data = grupy_m, aes(x, y, label = tekst), size = 3.9, lineheight = 0.95) +
  geom_rect(data = kafle, aes(xmin = x - 0.26, xmax = x + 0.26, ymin = y - 0.25, ymax = y + 0.25, fill = pierwszy),
            colour = "grey45", linewidth = 0.6, show.legend = FALSE) +
  geom_text(data = kafle, aes(x, y, label = spot), size = 4.6, fontface = "bold") +
  geom_text(data = osoby, aes(x, y, label = tekst), size = 3.7, hjust = 1, colour = "grey25") +
  annotate("text", x = 7.7 + 1.3, y = 3.65, label = "1. spot =\nmały test\nmonadyczny", hjust = 0, size = 3.5, colour = kol[["akcent"]], lineheight = 0.9) +
  annotate("segment", x = 5, xend = 5, y = -0.9, yend = 6.3, colour = "grey80", linetype = "dashed") +
  scale_fill_manual(values = c(wyp, "TRUE" = "#F6D7B0", "FALSE" = "white")) + scale_colour_manual(values = ram, guide = "none") +
  coord_cartesian(xlim = c(-0.2, 10.4), ylim = c(-0.9, 6.3), expand = FALSE) +
  guides(fill = "none") + labs(x = NULL, y = NULL) + motyw +
  theme(axis.text = element_blank(), panel.grid = element_blank())
p1

7. Kontrola palety przy zaburzeniach widzenia barw

Dane wejściowe: nic – kolory wpisane w kod.

Co odczytać: odległość barw ΔE w przestrzeni CIELAB przy widzeniu typowym, deuteranopii i protanopii; para czerwony–zielony to przykład do unikania.

R
# Przepis 7. Czy paleta przetrwa zaburzenia widzenia barw? Symulacja w pakiecie colorspace
library(colorspace)
pary <- list("monadyczny – tylko pierwszy" = c("#0072B2", "#E69F00"), "monadyczny – model" = c("#0072B2", "#009E73"),
             "tylko pierwszy – model" = c("#E69F00", "#009E73"), "wszystkie – stała kolejność" = c("grey45", "#CC79A7"),
             "model – stała kolejność" = c("#009E73", "#CC79A7"), "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
hex <- function(k) rgb(t(col2rgb(k)), maxColorValue = 255)
roznica <- function(k) {           # odległość barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(hex(k)), "LAB")); sqrt(sum((lab[1, ] - lab[2, ])^2))
}
round(t(sapply(pary, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(hex(k))),
                                   protanopia = roznica(protan(hex(k)))))), 1)
Wynik w R
                                 widzenie_typowe deuteranopia protanopia
monadyczny – tylko pierwszy                120.2        121.5      109.3
monadyczny – model                          70.1         55.4       58.0
tylko pierwszy – model                      88.7         66.3       51.5
wszystkie – stała kolejność                 41.9         16.2       19.8
model – stała kolejność                     87.5         18.1       36.2
czerwony – zielony (do unikania)           121.7         21.1       31.6

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3. Losowanie danych, ANOVA, testy t, poprawkę Holma i symulacje policzono w pakiecie stats wbudowanym w R. Modele mieszane dopasowano pakietem lme4, a test t kontrastu i test interakcji ze stopniami swobody Satterthwaite’a – pakietem lmerTest. Rysunki wykonano w pakietach ggplot2 i patchwork i zapisano pakietem svglite, a paletę sprawdzono pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. lme4 (wersja 2.0.1): Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48. https://doi.org/10.18637/jss.v067.i01
  3. lmerTest (wersja 3.2.1): Kuznetsova, A., Brockhoff, P. B., & Christensen, R. H. B. (2017). lmerTest package: Tests in linear mixed effects models. Journal of Statistical Software, 82(13), 1–26. https://doi.org/10.18637/jss.v082.i13
  4. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  5. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  6. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1), 1–49. https://doi.org/10.18637/jss.v096.i01
  7. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An ‘SVG’ graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Stała kolejność spotów. W symulacji zaniżyła różnicę C – B o 0.12 punktu i żaden model tego nie naprawi.
  • Średnie ze wszystkich pozycji porównane z normą. Spot C miał 5.13 zamiast 5.38 tylko dlatego, że oglądano go także jako drugi, trzeci i czwarty.
  • Analiza ocen jak niezależnych obserwacji. Cztery oceny jednej osoby to nie cztery osoby (ICC = .28).
  • Przeniesienie pominięte w modelu. Proste średnie zawyżyły różnicę o 0.08 punktu.
  • Sześć par bez korekty. Przy kilku spotach któraś para „wygra” przez przypadek.

Najczęstsze pytania

Czym różni się test monadyczny od sekwencyjnego w badaniu reklamy?

W teście monadycznym każdy respondent widzi i ocenia tylko jedną wersję reklamy, więc ocena nie zależy od innych wersji. W teście sekwencyjnym (sekwencyjno-monadycznym) respondent ocenia kilka wersji po kolei, każdą osobno. Sekwencyjny wymaga mniejszej próby, bo każdy jest swoją kontrolą, ale wprowadza efekt kolejności i przeniesienia.

Czy w pre-teście reklamy trzeba losować kolejność spotów?

Tak. Przy stałej kolejności efekt spotu miesza się z efektem pozycji – w symulacji różnica między dwoma spotami była zaniżona o 0.12 punktu i żaden model tego nie naprawił. Najlepiej zrównoważyć kolejność (każdy spot na każdej pozycji tyle samo razy, np. kwadrat łaciński) i zapisać ją w danych.

Jak analizować dane z testu sekwencyjnego kilku reklam?

Modelem mieszanym: ocena zależy od spotu, pozycji i spotu poprzedzającego, a respondent ma losowy wyraz wolny. Cztery oceny jednej osoby nie są niezależne. Gdy potrzebujesz poziomu porównywalnego z testami monadycznymi, analizuj osobno spot oglądany jako pierwszy.

Ilu respondentów potrzeba do pre-testu reklamy?

Zależy od planu i różnicy, którą chcesz wykryć. W przykładzie różnicę 0.45 punktu na skali 1–7 z mocą 80% i korektą na sześć par wykrywa 868 osób w planie monadycznym (217 na spot) i 180 w sekwencyjnym. Przy różnicy 0.25 punktu to 2824 i 586 osób.

Co to jest efekt przeniesienia w badaniu reklamy?

To wpływ poprzedniej reklamy na ocenę następnej. Najczęściej działa jak kontrast: słabszy spot oglądany zaraz po mocnym wypada gorzej. W przykładzie spoty oglądane po najlepszym spocie dostały średnio 4.09 punktu, a po innych – 4.40. Uwzględnij to w modelu i równoważ, który spot następuje po którym.

Powiązane hasła

Przeczytaj też

Testujesz kilka wersji reklamy?

Pomożemy wybrać plan pre-testu, zrównoważyć kolejność, policzyć liczebność, dopasować model mieszany i opisać wynik tak, żebyś umiał(a) go obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Barr, D. J., Levy, R., Scheepers, C., & Tily, H. J. (2013). Random effects structure for confirmatory hypothesis testing: Keep it maximal. Journal of Memory and Language, 68(3), 255–278. https://doi.org/10.1016/j.jml.2012.11.001 ● Otwarty dostęp: pełny tekst
  2. Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48. https://doi.org/10.18637/jss.v067.i01 ● Otwarty dostęp
  3. Brooks, J. L. (2012). Counterbalancing for serial order carryover effects in experimental condition orders. Psychological Methods, 17(4), 600–614. https://doi.org/10.1037/a0029310 ● Otwarty dostęp: pełny tekst
  4. Greenwald, A. G. (1976). Within-subjects designs: To use or not to use? Psychological Bulletin, 83(2), 314–320. https://doi.org/10.1037/0033-2909.83.2.314
  5. Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70. https://www.jstor.org/stable/4615733
  6. Morwitz, V. G., Steckel, J. H., & Gupta, A. (2007). When do purchase intentions predict sales? International Journal of Forecasting, 23(3), 347–364. https://doi.org/10.1016/j.ijforecast.2007.05.015 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@article{barr2013random, author={Barr, Dale J. and Levy, Roger and Scheepers, Christoph and Tily, Harry J.}, title={{Random effects structure for confirmatory hypothesis testing: Keep it maximal}}, journal={Journal of Memory and Language}, year={2013}, volume={68}, number={3}, pages={255--278}, doi={10.1016/j.jml.2012.11.001}}
@article{bates2015fitting, author={Bates, Douglas and Mächler, Martin and Bolker, Ben and Walker, Steve}, title={{Fitting linear mixed-effects models using lme4}}, journal={Journal of Statistical Software}, year={2015}, volume={67}, number={1}, pages={1--48}, doi={10.18637/jss.v067.i01}}
@article{brooks2012counterbalancing, author={Brooks, Joseph L.}, title={{Counterbalancing for serial order carryover effects in experimental condition orders}}, journal={Psychological Methods}, year={2012}, volume={17}, number={4}, pages={600--614}, doi={10.1037/a0029310}}
@article{greenwald1976within, author={Greenwald, Anthony G.}, title={{Within-subjects designs: To use or not to use?}}, journal={Psychological Bulletin}, year={1976}, volume={83}, number={2}, pages={314--320}, doi={10.1037/0033-2909.83.2.314}}
@article{holm1979simple, author={Holm, Sture}, title={{A simple sequentially rejective multiple test procedure}}, journal={Scandinavian Journal of Statistics}, year={1979}, volume={6}, number={2}, pages={65--70}, url={https://www.jstor.org/stable/4615733}}
@article{morwitz2007when, author={Morwitz, Vicki G. and Steckel, Joel H. and Gupta, Alok}, title={{When do purchase intentions predict sales?}}, journal={International Journal of Forecasting}, year={2007}, volume={23}, number={3}, pages={347--364}, doi={10.1016/j.ijforecast.2007.05.015}}
R