Publikacje naukowe · Eksperymenty w ankietach

Randomizacja w ankiecie online – LimeSurvey, Qualtrics i inne narzędzia

Jak losowo przydzielić respondentów do warunków w narzędziu ankietowym, zapisać przydział w danych i po zebraniu ankiet sprawdzić, czy losowanie zadziałało. Z symulacją w R: rozrzut liczebności, SMD i przerwania w warunkach.

Strona główna / Blog / Randomizacja w ankiecie online
W skrócie: Losowy przydział do warunku to co innego niż losowa kolejność pytań: warunek musi trafić do eksportu jako osobna zmienna zapisana w chwili losowania. W symulacji 400 osób prosta randomizacja dawała w 95% ankiet od 181 do 219 osób w warunku, a wyrównanie liczebności nie poprawiało równowagi cech. Po zebraniu danych sprawdź liczebności testem zgodności, cechy pokaż przez SMD bez testów istotności i koniecznie porównaj odsetki przerwań w warunkach – różny ubytek psuje losowanie bardziej niż nierówne grupy.

Gdzie psuje się losowanie w ankiecie online

W eksperymencie ankietowym losowanie robi za Ciebie program. To wygodne, ale błędy wychodzą na jaw dopiero po zebraniu danych: w eksporcie brakuje zmiennej z warunkiem, jedna wersja nie wyświetla się na telefonach albo respondent po powrocie do ankiety dostaje inny warunek niż za pierwszym razem. Takich błędów nie naprawi żadna analiza. Ten wpis pokazuje, jak ustawić losowy przydział w popularnych narzędziach, co zapisać w danych i jak po zebraniu danych sprawdzić, czy randomizacja zadziałała.

Wpis jest częścią serii o eksperymentach w ankietach. Cały proces, od hipotezy do opisu wyników, opisuje eksperyment w ankiecie online krok po kroku. Losowanie w badaniach klinicznych (bloki, warstwy, minimalizacja, ukrycie przydziału) omawia randomizacja w praktyce, a gotową listę przydziału dla badań z rekrutacją osoba po osobie przygotujesz w generatorze listy randomizacji. Tu zajmujemy się sytuacją typową dla ankiet: przydział losuje narzędzie w chwili, gdy respondent dochodzi do bodźca.

Losowanie warunków a losowanie kolejności

Narzędzia ankietowe losują dwie różne rzeczy i łatwo je pomylić.

  • Losowanie warunku (przydziału): każdy respondent widzi tylko jedną wersję bodźca, np. tekst z normą społeczną albo tekst kontrolny. To jest manipulacja w eksperymencie i podstawa wnioskowania przyczynowego. Warunek musi trafić do danych jako osobna zmienna.
  • Losowanie kolejności: każdy respondent widzi wszystkie pytania lub odpowiedzi, ale w losowej kolejności. Służy do rozproszenia efektu kolejności pytań i efektu kolejności odpowiedzi. Jest bliższe kontrbalansowaniu niż eksperymentowi.

Losowa kolejność staje się czynnikiem eksperymentalnym dopiero wtedy, gdy chcesz porównać odpowiedzi przy różnych kolejnościach. Wtedy zaplanuj ją jak warunek: z kilkoma ustalonymi wersjami, zapisaną wersją i analizą zaplanowaną z góry. Tak działa eksperyment split-ballot. Jeśli kolejność losujesz tylko po to, by ją rozproszyć, i tak sprawdź, czy narzędzie potrafi ją zapisać. Bez tego nie sprawdzisz później, czy kolejność miała znaczenie.

Jak losować w narzędziach ankietowych

Opis funkcji poniżej opiera się na oficjalnej dokumentacji producentów (odczyt w listopadzie 2026 r.). Nazwy opcji i ich działanie zmieniają się między wersjami, więc przed startem zawsze sprawdź je w swoim koncie i w teście technicznym ankiety. Ogólne porównanie programów znajdziesz we wpisie o narzędziach do ankiet online.

Qualtrics: element Randomizer

W Qualtrics warunki losuje element Randomizer w przepływie ankiety (Survey Flow). Umieszczasz w nim bloki z wersjami bodźca albo dane osadzone (embedded data) i ustalasz, ile elementów ma zobaczyć jedna osoba. Zwykle jest to jeden. Opcja Evenly Present Elements pilnuje liczników, tak aby każdy element był pokazany tyle samo razy. Liczniki można podejrzeć i zmienić przez Edit Count oraz wyzerować przez Reset All Counts (Qualtrics, b.d.-a). Wyzeruj je po testach, zanim wyślesz link.

Dokumentacja podaje, że identyfikatory elementów przepływu (Flow IDs) pokazują w eksporcie, który element losowania zobaczył respondent. Do śledzenia warunków zaleca też dane osadzone (Qualtrics, b.d.-a). W praktyce dodaj do każdej gałęzi Randomizera pole embedded data, np. warunek = A albo warunek = B, i umieść je przed blokiem z bodźcem. Wtedy warunek trafi do danych jako czytelna zmienna, a nie tylko jako techniczny identyfikator.

Kolejność pytań w obrębie bloku losujesz w opcjach bloku (Question randomization): wszystkie pytania, losowy podzbiór (Present only __ of total questions) albo ustawienia zaawansowane z pytaniami o stałej pozycji. Kolejność wyświetlania trafi do pliku danych dopiero wtedy, gdy przy eksporcie zaznaczysz eksport kolejności dla ankiet z losowaniem (Qualtrics, b.d.-b).

LimeSurvey: ukryte pytanie Equation i warunki grup

LimeSurvey nie ma osobnego modułu do losowania warunków. Przydział robi się wyrażeniem ExpressionScript. W przykładowych ankietach z dokumentacji ukryte pytanie typu Equation losuje liczbę wyrażeniem z funkcją rand() (np. floor(rand(1,6.9999)) dla wartości 1–6). Równania warunkowe (relevance) decydują potem, które pytanie albo którą grupę zobaczy respondent. Funkcja if() najpierw sprawdza, czy wartość została już ustawiona, i jeśli tak, używa jej. Dzięki temu dana osoba ma stale ten sam przydział, a różne osoby różne (LimeSurvey, b.d.-a). Wynik pytania Equation jest zapisywany w tabeli odpowiedzi także wtedy, gdy pytanie jest ukryte opcją Always hide this question (LimeSurvey, b.d.-b). Zmienna z warunkiem trafia więc do eksportu.

W praktyce ustaw ukryte pytanie Equation (np. kod warunek) na stronie przed bodźcem. Grupom z wersjami bodźca nadaj równania warunkowe grupy (Relevance equation), np. warunek == 1 i warunek == 2 (LimeSurvey, b.d.-c). Kolejność pytań w grupie losuje atrybut random_group, czyli ten sam ciąg znaków wpisany przy kilku pytaniach. Kolejność ustala się przy rozpoczęciu ankiety i potem się nie zmienia (LimeSurvey, b.d.-a). Kolejność grup losuje podobne ustawienie Randomization group na poziomie grupy. Zamieniane są tylko miejsca grup z tym samym ciągiem (LimeSurvey, b.d.-c). Dokumentacja radzi sprawdzać losową kolejność w podglądzie całej ankiety, bo podgląd pojedynczej grupy może jej nie pokazać.

Dokumentacja LimeSurvey, którą sprawdziliśmy, nie opisuje opcji wyrównywania liczebności warunków. Przydział z rand() to prosta randomizacja. Przy kilkuset osobach to zwykle wystarcza (zob. niżej).

Formularze Google i podobne proste narzędzia

Formularze Google pozwalają losować kolejność pytań i odpowiedzi (zob. porównanie narzędzi), ale przejście do sekcji zależy od odpowiedzi respondenta, nie od losowania. Popularne obejście to kilka osobnych formularzy i strona albo skrypt, który kieruje każdą osobę pod losowy adres. Ma ono poważne wady:

  • Nie widać, kto zaczął i przerwał. Formularz zapisuje tylko wysłane odpowiedzi. Nie policzysz więc przerwań w warunkach, a to jedna z najważniejszych kontroli (zob. niżej).
  • Kilka baz do połączenia. Warunek wynika z nazwy pliku, a nie ze zmiennej w danych. Każda późniejsza zmiana w jednym formularzu łatwo rozjeżdża kody, a łączenie baz to dodatkowe ryzyko błędu.
  • Brak kontroli powrotów. Osoba, która otworzy link drugi raz, może trafić do innej wersji i zobaczyć oba bodźce.

Do pracy semestralnej takie rozwiązanie bywa akceptowalne. Do eksperymentu, który ma trafić do publikacji, wybierz narzędzie z losowaniem wbudowanym w jedną ankietę.

Losowanie warunków i kolejności w trzech typach narzędzi ankietowych
FunkcjaQualtricsLimeSurveyFormularze Google
Losowy przydział do warunkuRandomizer w Survey FlowUkryte pytanie Equation z rand() i warunki grupBrak; obejście przez kilka formularzy
Równe liczebnościEvenly Present Elements (liczniki)Nieopisane w sprawdzonej dokumentacjiNie
Warunek w eksporcieFlow IDs; lepiej embedded dataWartość pytania EquationTylko przez osobne pliki
Losowa kolejność pytańQuestion randomization w blokurandom_group, Randomization groupLosowanie kolejności pytań i odpowiedzi
Kolejność w eksporciePo zaznaczeniu przy eksporcieSprawdź w teścieSprawdź w teście

Prosta randomizacja czy równe liczebności

Prosta randomizacja losuje każdą osobę niezależnie, jak rzut monetą. Daje nierówne grupy, ale rozrzut maleje względnie wraz z liczebnością. W symulacji 1000 ankiet po 400 osób w 95% ankiet warunek A miał od 181 do 219 osób (Rysunek 1). Podział 190 : 210 albo bardziej nierówny zdarzył się w 34.7% ankiet, a 180 : 220 albo bardziej – w 4.8%. Przy 400 osobach strata mocy z tak małej nierównowagi jest znikoma. Prosta randomizacja ma też zaletę: nikt, także sam program, nie musi „pamiętać” wcześniejszych przydziałów.

Histogram liczby osób w warunku A w 1000 symulowanych ankietach po 400 osób z prostą randomizacją; 95% ankiet mieści się w przedziale 181–219 osób, podział 190 do 210 lub bardziej nierówny w 34.7% ankiet; losowanie z wyrównywaniem zawsze daje 200 do 200
Rysunek 1. Rozkład liczebności warunku A przy prostej randomizacji 400 osób (1000 symulowanych ankiet). Niebieskie pole obejmuje 95% ankiet, czerwona linia to wynik losowania z wyrównywaniem liczebności. Obliczenia: R (dane symulowane).

Losowanie z wyrównywaniem liczebności, takie jak opcja Evenly Present Elements, daje równe grupy. W symulacji przybliżyliśmy je regułą: kolejna osoba trafia do warunku, który ma dotąd mniej osób, a przy remisie decyduje los. Dokładny algorytm narzędzia może być inny. Wynik zawsze wynosił 200 : 200. Pamiętaj jednak o dwóch ograniczeniach:

  • Wyrównuje liczebności, nie cechy. Odsetek ankiet, w których choć jedna z czterech cech (wiek, płeć, telefon, postawa wyjściowa) miała |SMD| > 0.1, wyniósł 81.0% przy prostej randomizacji i 79.6% przy wyrównywaniu (Rysunek 2). Równowagę cech zapewnia samo losowanie, w sensie oczekiwanym, a nie licznik.
  • Wyrównuje pokazania, nie ukończenia. Licznik liczy wyświetlenia elementu. Dokumentacja Qualtrics nie podaje, czy i jak uwzględnia osoby, które przerwały ankietę albo do niej wróciły. Jeśli w jednym warunku więcej osób przerywa, grupy ukończonych ankiet i tak będą nierówne. Sprawdź to w danych testowych.

Przy kilkuset osobach wybór między prostą randomizacją a wyrównywaniem ma niewielkie znaczenie. Przy małej próbie, np. 40–60 osób w schemacie z czterema warunkami, wyrównywanie się przydaje. W badaniach z rekrutacją osoba po osobie (laboratorium, klinika) lepsza jest gotowa lista z blokami (zob. randomizacja blokowa).

Gęstości bezwzględnej SMD postawy wyjściowej między warunkami dla prostej randomizacji i losowania z wyrównywaniem liczebności; krzywe prawie się pokrywają; choć jedna z czterech cech z SMD powyżej 0.1 w 81.0% i 79.6% ankiet
Rysunek 2. Rozkład |SMD| postawy wyjściowej między warunkami w 1000 symulowanych ankietach po 400 osób dla dwóch sposobów losowania. Prawdziwa różnica wynosi zero, a mimo to |SMD| często przekracza 0.1. Obliczenia: R (dane symulowane).

Zapis przydziału, przerwania i powroty

Najczęstszy błąd techniczny w eksperymencie ankietowym to brak zmiennej z warunkiem w eksporcie. Przed startem sprawdź w danych testowych cztery rzeczy:

  1. Zmienna warunku ma czytelną nazwę i kody (np. warunek: 1 = kontrolny, 2 = norma) i jest opisana w książce kodowej. Przy kilku czynnikach każdy ma osobną zmienną.
  2. Warunek zapisuje się w chwili losowania, a nie dopiero na końcu ankiety. Tylko wtedy osoby, które przerwały po bodźcu, mają w danych przypisany warunek i możesz policzyć przerwania w warunkach.
  3. Eksport obejmuje ankiety nieukończone. Sprawdź, gdzie w Twoim narzędziu ustawia się eksport odpowiedzi niekompletnych. Bez nich nie zobaczysz ubytku zależnego od warunku.
  4. Powrót respondenta nie zmienia warunku. Zacznij ankietę w teście, przerwij po bodźcu i wróć tym samym linkiem albo przez opcję zapisu i powrotu. Warunek musi zostać ten sam. W LimeSurvey zapewnia to wzorzec z funkcją if() opisany w dokumentacji. Działania innych narzędzi przy powrocie nie zakładaj, tylko je przetestuj.

Losuj jak najpóźniej, tuż przed bodźcem, a po zgodzie i pytaniach mierzonych przed bodźcem. Osoby, które odpadną przed losowaniem, nie psują wtedy porównania. Odpadnięcia po losowaniu stają się częścią wyniku eksperymentu. Zapisuj też czasy stron i urządzenie (paradane), bo pomogą wyjaśnić, dlaczego w jednym warunku ludzie odchodzą częściej.

Kilka czynników naraz

W schemacie 2 × 2 możesz losować każdy czynnik osobno, np. dwa elementy Randomizer albo dwa pytania Equation. Możesz też losować jedną z czterech komórek. Losowanie osobne daje niezależne przydziały, ale nierówne komórki. Losowanie komórek z wyrównywaniem daje równe komórki. W obu przypadkach zapisz każdy czynnik jako osobną zmienną i sprawdź tabelę krzyżową komórek. Więcej czynników i plany frakcyjne omawia wpis o eksperymencie czynnikowym.

Po zebraniu danych: czy losowanie zadziałało

Kontrola ma trzy części i każda odpowiada na inne pytanie.

1. Liczebności warunków. Test chi-kwadrat zgodności porównuje liczebności z planem (np. 1 : 1). Wykrywa błąd procedury, np. wersję, która nie wyświetla się w jednej przeglądarce. W przykładzie warunek A dostało 209 osób, a B 191, χ²(1) = 0.81, p = .368. Pamiętaj, że przy poprawnym losowaniu test „alarmuje” w około 5% badań. W symulacji było to 4.8% ankiet, czyli dokładnie te, w których podział wynosił co najmniej 180 : 220. Wynik p < .05 to więc sygnał, by sprawdzić ustawienia, a nie dowód błędu. Przy losowaniu z wyrównywaniem liczebności test nie ma sensu, bo liczebności są ustalone.

2. Równowaga cech. Pokaż średnie i odsetki cech zmierzonych przed bodźcem w warunkach oraz standaryzowaną różnicę średnich (SMD). Nie licz testów istotności. Mutz i in. (2019) pokazują, że w danych z poprawnym losowaniem rutynowe testy równowagi prowadzą do błędnych decyzji analitycznych. Mutz (2011) zalicza sprawdzanie randomizacji testami do częstych błędów w analizie eksperymentów sondażowych. Austin (2009) opisuje SMD i inne miary porównania rozkładów cech między grupami oraz pokazuje, jak wyznaczyć rozkład SMD, gdy prawdziwa różnica wynosi zero. Przy dwóch równych grupach odchylenie standardowe SMD wynosi w przybliżeniu √(4/N), czyli 0.10 przy 400 osobach (w symulacji 0.104). Próg |SMD| < 0.1, popularny w badaniach obserwacyjnych, w małym eksperymencie bywa przekraczany przez sam przypadek. Pojedyncze SMD rzędu 0.1–0.2 nie świadczy więc o „nieudanej randomizacji”. W przykładzie wszystkie SMD mieściły się między −0.010 a 0.038.

3. Przerwania w warunkach. To najważniejsza kontrola w ankiecie online. Zhou i Fishbach (2016) pokazali, że w eksperymentach prowadzonych przez internet przerwania są częste (30–50% w ich pierwszym badaniu) i systematycznie różnią się między warunkami. Nieuwzględniony ubytek prowadził do fałszywych wniosków. Autorzy zalecają ograniczać ubytek i go raportować. W przykładzie warunek B zawierał dłuższy tekst. Po bodźcu przerwało 4.3% osób w warunku A i 27.2% w warunku B, różnica 22.9 punktu procentowego, 95% CI [16.0, 29.8], p < .001.

Wśród osób, które ukończyły ankietę (200 w A i 139 w B), losowanie przestało chronić porównanie. Odsetek osób wypełniających na telefonie wynosił 59.0% w A i 51.1% w B, SMD = −0.159, choć przed przerwaniami SMD wynosiło 0.005 (Rysunek 3). Ten przykład wybraliśmy jako czytelny, ale nie skrajny. W 1000 powtórzeniach tego samego mechanizmu mediana SMD telefonu wśród ukończonych wynosiła −0.103, a 95% wyników mieściło się w przedziale od −0.328 do 0.114. Mutz i in. (2019) wymieniają właśnie zróżnicowany ubytek jako sytuację, w której sprawdzanie równowagi ma sens.

Wykres SMD czterech cech między warunkami dla wszystkich wylosowanych i dla osób, które ukończyły ankietę; przed przerwaniami wszystkie SMD bliskie zera, po przerwaniach SMD telefonu wynosi −0.159; przerwało 4.3% osób w warunku A i 27.2% w warunku B
Rysunek 3. Standaryzowane różnice średnich cech zmierzonych przed bodźcem: wszyscy wylosowani (N = 400) i osoby, które ukończyły ankietę (N = 339). Przerwania zależne od warunku i urządzenia zaburzają równowagę. Obliczenia: R (dane symulowane).

Co z tym zrobić, zależy od miejsca przerwań i od pytania badawczego. Jeśli przerwania są duże i różne w warunkach, opisz je jako wynik. Przedstaw analizę wszystkich wylosowanych, o ile masz dla nich wynik, w duchu analizy ITT, a analizę ukończonych pokaż jako wrażliwości, z wyraźnym zastrzeżeniem. Zasady wykluczania osób przed bodźcem i po nim omawia wpis o wykluczaniu respondentów w eksperymencie. Modele z kowariantami, które poprawiają precyzję, opisuje analiza eksperymentu ankietowego. Kowarianty ustal z góry w planie analizy, a nie na podstawie tabeli równowagi.

W schemacie z dwoma czynnikami sprawdź też tabelę komórek. W przykładzie drugi czynnik (kolejność dwóch skal po bodźcu) losowano niezależnie. Komórki liczyły 100, 109, 103 i 88 osób, a test niezależności przydziałów dał p = .224.

Jak opisać randomizację w artykule

Podaj narzędzie, sposób losowania (prosta czy z wyrównywaniem), moment losowania w ankiecie, liczebności wylosowane i ukończone w każdym warunku, przerwania w warunkach oraz tabelę cech z SMD. Tabelę cech według warunków przygotuj bez kolumny z p.

Uczestników losowo przydzielono do warunku kontrolnego (krótki tekst) albo eksperymentalnego (dłuższy artykuł) w programie ankietowym, w chwili przejścia do strony z bodźcem, po wyrażeniu zgody i odpowiedzi na pytania mierzone przed bodźcem (prosta randomizacja, prawdopodobieństwo 1/2). Niezależnie losowano kolejność dwóch skal mierzonych po bodźcu. Warunek kontrolny wylosowano 209 osobom, a eksperymentalny 191 osobom (χ²(1) = 0.81, p = .368). Standaryzowane różnice średnich cech zmierzonych przed bodźcem (wiek, płeć, urządzenie, postawa wyjściowa) mieściły się w zakresie od −0.010 do 0.038. Po zobaczeniu bodźca ankietę przerwało 9 osób (4.3%) w warunku kontrolnym i 52 osoby (27.2%) w warunku eksperymentalnym (różnica 22.9 punktu procentowego, 95% CI [16.0, 29.8]). Wśród osób, które ukończyły ankietę, warunki różniły się odsetkiem osób wypełniających na telefonie (59.0% wobec 51.1%, SMD = −0.159), dlatego wyniki analizy osób, które ukończyły ankietę, traktujemy jako analizę wrażliwości.

Jeśli losowanie w Twoim badaniu poszło inaczej niż w planie albo recenzent pyta o różny ubytek w warunkach, możemy wspólnie ocenić skutki i przygotować analizę w ramach analiz statystycznych dla badaczy.

Przykład reprodukowalny

Przykład w R

Dwa niezależne przepisy liczą wszystkie wyniki z tekstu. Pierwszy symuluje 1000 ankiet po 400 osób i porównuje prostą randomizację z losowaniem z wyrównywaniem liczebności. Drugi tworzy jeden eksport ankiety i przeprowadza kontrolę losowania. Zapisuje dane do pliku eksport-ankiety.csv (możesz go pobrać tutaj). Wystarczą funkcje bazowego R. Do własnych danych użyj części 1–5 drugiego przepisu i podmień nazwy zmiennych.

1. Prosta randomizacja a wyrównywanie liczebności: 1000 symulowanych ankiet

Dane wejściowe: brak – dane powstają w skrypcie: 1000 ankiet po 400 osób, cechy mierzone przed bodźcem (wiek, płeć, telefon, postawa 1–7), dwa sposoby losowania (set.seed(3991)).

Co odczytać: rozrzut liczebności warunku A, odsetek ankiet z podziałem co najmniej 190 : 210 i 180 : 220, odsetek „alarmów” testu chi-kwadrat zgodności, kwantyle |SMD| postawy, odsetek ankiet z choć jedną cechą o |SMD| > 0.1, odchylenie standardowe SMD i błąd Monte Carlo.

R
# B399 – krok 1. Prosta randomizacja a losowanie z wyrównywaniem liczebności: 1000 symulowanych ankiet po 400 osób
# Dwa warunki (A = kontrolny, B = bodziec). Cechy mierzone przed bodźcem: wiek, płeć, telefon, postawa (1–7).
set.seed(3991)
N <- 400; R <- 1000

# Prosta randomizacja: każda osoba niezależnie, jak rzut monetą (tak działa losowanie bez opcji równego przydziału)
prosta <- function(n) sample(c("A", "B"), n, replace = TRUE)
# Losowanie z wyrównywaniem: kolejna osoba trafia do warunku, który ma dotąd mniej osób; przy remisie – losowo
# (przybliżenie opcji „równo prezentuj”; dokładny algorytm narzędzia może być inny)
wyrownana <- function(n) {
  w <- character(n); nA <- 0; nB <- 0
  for (i in seq_len(n)) {
    w[i] <- if (nA < nB) "A" else if (nB < nA) "B" else sample(c("A", "B"), 1)
    if (w[i] == "A") nA <- nA + 1 else nB <- nB + 1
  }
  w
}
smd <- function(x, g) (mean(x[g == "B"]) - mean(x[g == "A"])) / sqrt((var(x[g == "B"]) + var(x[g == "A"])) / 2)

jedna <- function(los) {
  d <- data.frame(wiek = round(pmin(pmax(rnorm(N, 24, 4), 18), 45)), kobieta = rbinom(N, 1, 0.6),
                  telefon = rbinom(N, 1, 0.55), postawa = pmin(pmax(round(rnorm(N, 4.2, 1.2), 1), 1), 7))
  g <- los(N)
  s <- sapply(d, smd, g = g)
  c(nA = sum(g == "A"), p_zgodnosc = chisq.test(table(g), p = c(.5, .5))$p.value,
    max_abs_smd = max(abs(s)), smd_postawa = s[["postawa"]])
}
wyn_p <- as.data.frame(t(replicate(R, jedna(prosta))))
wyn_w <- as.data.frame(t(replicate(R, jedna(wyrownana))))

# 1. Rozrzut liczebności warunku A przy prostej randomizacji (plan: 200)
summary(wyn_p$nA)
quantile(wyn_p$nA, c(.025, .975))
round(mean(abs(wyn_p$nA - 200) >= 10), 3)    # odsetek ankiet z podziałem 190:210 lub bardziej nierównym
round(mean(abs(wyn_p$nA - 200) >= 20), 3)    # 180:220 lub bardziej
round(mean(wyn_p$p_zgodnosc < .05), 3)       # test chi-kwadrat zgodności z 1:1 „alarmuje” w ok. 5% poprawnych losowań
table(wyn_w$nA)                              # wyrównywanie: zawsze 200:200

# 2. Równowaga cech (SMD) – czy wyrównanie liczebności wyrównuje też cechy?
round(rbind(prosta = quantile(abs(wyn_p$smd_postawa), c(.5, .9, .95)),
            wyrownana = quantile(abs(wyn_w$smd_postawa), c(.5, .9, .95))), 3)
round(c(prosta = mean(wyn_p$max_abs_smd > 0.1), wyrownana = mean(wyn_w$max_abs_smd > 0.1)), 3)  # choć jedna z 4 cech |SMD| > 0.1
# Oczekiwany rozrzut SMD przy braku różnic: SD ≈ sqrt(2 / (N / 2)) = sqrt(4 / N)
round(c(sd_smd_symulacja = sd(wyn_p$smd_postawa), sd_smd_wzor = sqrt(4 / N)), 3)
# Błąd Monte Carlo odsetka przy 1000 powtórzeniach (najgorszy przypadek, odsetek = .50)
round(sqrt(0.5 * 0.5 / R), 3)
write.csv(data.frame(metoda = rep(c("prosta", "wyrownana"), each = R), rbind(wyn_p, wyn_w)), "symulacja-1000.csv", row.names = FALSE)
Wynik w R
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
  172.0   192.8   200.0   199.8   206.0   236.0 
 2.5% 97.5% 
  181   219 
[1] 0.347
[1] 0.048
[1] 0.048

 200 
1000 
            50%   90%   95%
prosta    0.074 0.176 0.198
wyrownana 0.071 0.158 0.183
   prosta wyrownana 
    0.810     0.796 
sd_smd_symulacja      sd_smd_wzor 
           0.104            0.100 
[1] 0.016

2. Kontrola losowania w eksporcie: liczebności, równowaga, przerwania

Dane wejściowe: brak – skrypt tworzy eksport z 400 osobami, warunkiem, drugim czynnikiem (kolejność skal) i informacją o przerwaniu po bodźcu (set.seed(4024); powtórzenia w części 6: set.seed(3993)).

Co odczytać: liczebności i test chi-kwadrat zgodności z 1 : 1, tabelę komórek dwóch czynników, tabelę równowagi z SMD dla wszystkich wylosowanych, odsetki przerwań z różnicą i 95% CI, tabelę równowagi dla osób, które ukończyły ankietę, oraz kwantyle SMD telefonu z 1000 powtórzeń.

R
# B399 – krok 2. Kontrola losowania w jednym eksporcie z ankiety (dane symulowane)
# Warunek: A = krótki tekst kontrolny, B = dłuższy artykuł (bodziec). Drugi czynnik, losowany niezależnie:
# kolejność dwóch skal po bodźcu (ks = „skala 1 pierwsza” / „skala 2 pierwsza”).
set.seed(4024)
N <- 400
d <- data.frame(id = 1:N, wiek = round(pmin(pmax(rnorm(N, 24, 4), 18), 45)), kobieta = rbinom(N, 1, 0.6),
                telefon = rbinom(N, 1, 0.55), postawa = pmin(pmax(round(rnorm(N, 4.2, 1.2), 1), 1), 7))
d$warunek <- factor(sample(c("A", "B"), N, replace = TRUE))                 # prosta randomizacja
d$kolejnosc <- factor(sample(c("s1_pierwsza", "s2_pierwsza"), N, replace = TRUE))  # drugi czynnik, niezależnie
# Przerwanie po zobaczeniu bodźca: dłuższy tekst zniechęca zwłaszcza osoby na telefonie
d$przerwal <- rbinom(N, 1, plogis(-2.6 + 0.9 * (d$warunek == "B") + 0.9 * d$telefon * (d$warunek == "B"))) == 1
write.csv(d, "eksport-ankiety.csv", row.names = FALSE)

# 1. Liczebności i test chi-kwadrat zgodności z planem 1:1 (sprawdza procedurę, nie „jakość” losowania)
table(d$warunek)
chisq.test(table(d$warunek), p = c(.5, .5))
# 2. Dwa czynniki: liczebności komórek i niezależność przydziałów
table(d$warunek, d$kolejnosc)
round(chisq.test(table(d$warunek, d$kolejnosc), correct = FALSE)$p.value, 3)

# 3. Tabela równowagi: średnie / odsetki i SMD (B − A), bez testów istotności
smd <- function(x, g) (mean(x[g == "B"]) - mean(x[g == "A"])) / sqrt((var(x[g == "B"]) + var(x[g == "A"])) / 2)
cechy <- c("wiek", "kobieta", "telefon", "postawa")
balans <- function(dd) round(cbind(A = sapply(dd[dd$warunek == "A", cechy], mean),
                                   B = sapply(dd[dd$warunek == "B", cechy], mean),
                                   SMD = sapply(dd[cechy], smd, g = dd$warunek)), 3)
balans(d)                                   # wszyscy wylosowani

# 4. Przerwania w warunkach – różnica odsetków z przedziałem (prop.test bez poprawki na ciągłość)
tab_p <- table(d$warunek, d$przerwal)
tab_p
round(100 * prop.table(tab_p, 1)[, "TRUE"], 1)
pt <- prop.test(tab_p[c("B", "A"), c("TRUE", "FALSE")], correct = FALSE)
round(c(roznica_pp = 100 * unname(pt$estimate[1] - pt$estimate[2]), 100 * pt$conf.int, p = pt$p.value), 3)

# 5. Ci, którzy ukończyli: liczebności i równowaga po przerwaniach
dk <- subset(d, !przerwal)
table(dk$warunek)
balans(dk)

# 6. Czy ten przykład jest typowy? 1000 powtórzeń tego samego mechanizmu przerwań (set.seed(3993))
set.seed(3993)
zmiana <- replicate(1000, {
  x <- data.frame(telefon = rbinom(N, 1, 0.55), warunek = sample(c("A", "B"), N, replace = TRUE))
  x$przerwal <- rbinom(N, 1, plogis(-2.6 + 0.9 * (x$warunek == "B") + 0.9 * x$telefon * (x$warunek == "B"))) == 1
  k <- !x$przerwal
  c(wszyscy = smd(x$telefon, x$warunek), ukonczyli = smd(x$telefon[k], x$warunek[k]))
})
round(apply(zmiana, 1, quantile, probs = c(.025, .5, .975)), 3)
Wynik w R

  A   B 
209 191 

	Chi-squared test for given probabilities

data:  table(d$warunek)
X-squared = 0.81, df = 1, p-value = 0.3681

   
    s1_pierwsza s2_pierwsza
  A         100         109
  B         103          88
[1] 0.224
             A      B    SMD
wiek    24.100 24.063 -0.010
kobieta  0.636  0.639  0.005
telefon  0.584  0.586  0.005
postawa  4.241  4.285  0.038
   
    FALSE TRUE
  A   200    9
  B   139   52
   A    B 
 4.3 27.2 
roznica_pp                                p 
    22.919     16.032     29.805      0.000 

  A   B 
200 139 
             A      B    SMD
wiek    24.110 23.993 -0.031
kobieta  0.635  0.655  0.041
telefon  0.590  0.511 -0.159
postawa  4.252  4.212 -0.034
      wszyscy ukonczyli
2.5%   -0.208    -0.328
50%    -0.001    -0.103
97.5%   0.199     0.114

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia przepisów 1–2 w R 4.5.3 (funkcje sample(), chisq.test() i prop.test() z pakietu stats); rysunki przygotowano w pakiecie ggplot2.

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org

Najczęstsze błędy

  • Warunek tylko w nazwie pliku albo w identyfikatorze technicznym. Zapisz go jako zmienną z czytelnymi kodami w chwili losowania.
  • Liczniki wyrównywania nie zostały wyzerowane po testach. Przydziały testowe przesuwają wtedy losowanie u pierwszych prawdziwych respondentów.
  • Losowanie na początku ankiety. Osoby, które odpadną przed bodźcem, i tak mają warunek, a analiza przerwań się komplikuje. Losuj tuż przed bodźcem.
  • Testy istotności w tabeli równowagi. Przy poprawnym losowaniu różnice są przypadkowe. Pokaż SMD, a test stosuj do liczebności, gdy podejrzewasz błąd procedury.
  • Analiza tylko ukończonych ankiet bez sprawdzenia przerwań. Różne odsetki przerwań w warunkach podważają losowy przydział. Policz je przed analizą efektu.
  • „Dobranie” kowariantów do nierówności z tabeli równowagi. Kowarianty ustal z góry, ze względu na ich związek ze zmienną zależną.

Przed uruchomieniem eksperymentu sprawdź

  • Losowanie stoi tuż przed bodźcem, po zgodzie i pytaniach mierzonych przed bodźcem.
  • Każdy czynnik ma w eksporcie osobną zmienną z czytelnymi kodami, opisaną w książce kodowej.
  • W kilkudziesięciu przejściach testowych (zob. test techniczny) pojawiają się wszystkie warunki, także na telefonie.
  • Powrót do przerwanej ankiety nie zmienia warunku.
  • Eksport obejmuje ankiety nieukończone z zapisanym warunkiem.
  • Liczniki wyrównywania i dane testowe są usunięte przed wysłaniem linku.
  • Plan kontroli (liczebności, SMD bez testów, przerwania w warunkach) i liczebność (zob. liczebność próby w eksperymencie ankietowym) są zapisane w planie analizy.

Najczęstsze pytania

Czy w Formularzach Google da się losowo przydzielić respondentów do różnych wersji ankiety?

Formularze Google losują kolejność pytań i odpowiedzi, ale przejście do sekcji zależy od odpowiedzi respondenta, a nie od losowania. Obejście to kilka formularzy i strona kierująca pod losowy adres. Nie zapisuje ono jednak osób, które przerwały, i wymaga łączenia baz, dlatego do eksperymentu do publikacji wybierz narzędzie z losowaniem w jednej ankiecie.

Czy w Qualtrics zaznaczać opcję Evenly Present Elements?

Opcja pilnuje liczników, aby każdy element Randomizera był pokazany tyle samo razy. Przy małej próbie i kilku warunkach się przydaje, przy kilkuset osobach daje niewielki zysk. Wyrównuje liczebności pokazań, a nie cechy uczestników ani liczbę ukończonych ankiet. Po testach wyzeruj liczniki.

Jak w LimeSurvey losowo przydzielić respondenta do jednej z wersji bodźca?

Dodaj przed bodźcem ukryte pytanie typu Equation z wyrażeniem z funkcją rand(), a grupom z wersjami bodźca nadaj równania warunkowe, np. warunek == 1 i warunek == 2. Wartość pytania Equation zapisuje się w danych także wtedy, gdy pytanie jest ukryte. Funkcja if() pozwala zachować wylosowaną wartość dla danej osoby.

Jak sprawdzić, czy randomizacja w ankiecie online się udała?

Porównaj liczebności warunków z planem testem chi-kwadrat zgodności, pokaż cechy zmierzone przed bodźcem ze standaryzowaną różnicą średnich bez testów istotności i porównaj odsetki przerwań w warunkach. Pojedyncze SMD rzędu 0.1 przy kilkuset osobach zdarza się przez przypadek, a różne odsetki przerwań to sygnał poważnego problemu.

Co zrobić, gdy w jednym warunku eksperymentu więcej osób przerwało ankietę?

Opisz przerwania jako wynik, z liczbami i różnicą odsetków z przedziałem ufności. Pokaż równowagę cech wśród osób, które ukończyły ankietę, a analizę ukończonych traktuj jako analizę wrażliwości. W kolejnym badaniu wyrównaj długość i obciążenie warunków.

Powiązane hasła

Przeczytaj też

Losowanie w ankiecie nie poszło zgodnie z planem?

Pomożemy sprawdzić przydział i przerwania w warunkach, przygotować tabelę równowagi i analizę wrażliwości oraz opis, który samodzielnie obronisz przed recenzentami.

Oferta dla badaczyPorozmawiaj o projekcie

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Austin, P. C. (2009). Balance diagnostics for comparing the distribution of baseline covariates between treatment groups in propensity-score matched samples. Statistics in Medicine, 28(25), 3083–3107. https://doi.org/10.1002/sim.3697 ● Otwarty dostęp
  2. LimeSurvey. (b.d.-a). ExpressionScript sample surveys. LimeSurvey Manual. https://www.limesurvey.org/manual/ExpressionScript_sample_surveys ● Otwarty dostęp
  3. LimeSurvey. (b.d.-b). Question type – Equation. LimeSurvey Manual. https://www.limesurvey.org/manual/Question_type_-_Equation ● Otwarty dostęp
  4. LimeSurvey. (b.d.-c). Question groups – introduction. LimeSurvey Manual. https://www.limesurvey.org/manual/Question_groups_-_introduction ● Otwarty dostęp
  5. Mutz, D. C. (2011). Population-based survey experiments. Princeton University Press. https://doi.org/10.23943/princeton/9780691144511.001.0001
  6. Mutz, D. C., Pemantle, R., & Pham, P. (2019). The perils of balance testing in experimental design: Messy analyses of clean data. The American Statistician, 73(1), 32–42. https://doi.org/10.1080/00031305.2017.1322143 ● Otwarty dostęp: pełny tekst
  7. Qualtrics. (b.d.-a). Randomizer. Qualtrics Support. https://www.qualtrics.com/support/survey-platform/survey-module/survey-flow/standard-elements/randomizer/ ● Otwarty dostęp
  8. Qualtrics. (b.d.-b). Question randomization. Qualtrics Support. https://www.qualtrics.com/support/survey-platform/survey-module/block-options/question-randomization/ ● Otwarty dostęp
  9. Zhou, H., & Fishbach, A. (2016). The pitfall of experimenting on the web: How unattended selective attrition leads to surprising (yet false) research conclusions. Journal of Personality and Social Psychology, 111(4), 493–504. https://doi.org/10.1037/pspa0000056

Cytowania BibTeX

@article{austin2009balance, author={Austin, Peter C.}, title={{Balance diagnostics for comparing the distribution of baseline covariates between treatment groups in propensity-score matched samples}}, journal={Statistics in Medicine}, year={2009}, volume={28}, number={25}, pages={3083--3107}, doi={10.1002/sim.3697}}
@misc{limesurveyndsamplesurveys, author={{LimeSurvey}}, title={{ExpressionScript sample surveys}}, howpublished={LimeSurvey Manual}, year={b.d.-a}, publisher={LimeSurvey}, url={https://www.limesurvey.org/manual/ExpressionScript_sample_surveys}}
@misc{limesurveyndequation, author={{LimeSurvey}}, title={{Question type – Equation}}, howpublished={LimeSurvey Manual}, year={b.d.-b}, publisher={LimeSurvey}, url={https://www.limesurvey.org/manual/Question_type_-_Equation}}
@misc{limesurveyndgroups, author={{LimeSurvey}}, title={{Question groups – introduction}}, howpublished={LimeSurvey Manual}, year={b.d.-c}, publisher={LimeSurvey}, url={https://www.limesurvey.org/manual/Question_groups_-_introduction}}
@book{mutz2011population, author={Mutz, Diana C.}, title={{Population-based survey experiments}}, year={2011}, publisher={Princeton University Press}, doi={10.23943/princeton/9780691144511.001.0001}}
@article{mutz2019perils, author={Mutz, Diana C. and Pemantle, Robin and Pham, Philip}, title={{The perils of balance testing in experimental design: Messy analyses of clean data}}, journal={The American Statistician}, year={2019}, volume={73}, number={1}, pages={32--42}, doi={10.1080/00031305.2017.1322143}}
@misc{qualtricsndrandomizer, author={{Qualtrics}}, title={{Randomizer}}, howpublished={Qualtrics Support}, year={b.d.-a}, publisher={Qualtrics}, url={https://www.qualtrics.com/support/survey-platform/survey-module/survey-flow/standard-elements/randomizer/}}
@misc{qualtricsndquestionrandomization, author={{Qualtrics}}, title={{Question randomization}}, howpublished={Qualtrics Support}, year={b.d.-b}, publisher={Qualtrics}, url={https://www.qualtrics.com/support/survey-platform/survey-module/block-options/question-randomization/}}
@article{zhou2016pitfall, author={Zhou, Haotian and Fishbach, Ayelet}, title={{The pitfall of experimenting on the web: How unattended selective attrition leads to surprising (yet false) research conclusions}}, journal={Journal of Personality and Social Psychology}, year={2016}, volume={111}, number={4}, pages={493--504}, doi={10.1037/pspa0000056}}
R