Publikacje naukowe · Badania sondażowe

Ankieta mieszana – efekt trybu badania i jak go kontrolować

Gdy część osób odpowiada przez internet, a część przez telefon, różnica wyników łączy dwa zjawiska: kto wybiera dany tryb i jak tryb zmienia odpowiedzi. Pokazujemy w R, kiedy wystarczą kowarianty i wagi, jak rozdzielić oba efekty próbą referencyjną lub eksperymentem i czego nie wykryje test inwariancji.

Strona główna / Blog / Ankieta mieszana i efekt trybu
W skrócie: Różnica wyników między trybami ankiety mieszanej to suma selekcji (kto odpowiada w danym trybie) i efektu pomiaru (jak tryb zmienia odpowiedź). W przykładzie oba wynosiły −0.37 i +0.39 punktu, więc surowa różnica była prawie zerowa. Kowarianty demograficzne usunęły tylko część selekcji. Bez obciążenia działały próba referencyjna i eksperyment z losowym trybem, a test inwariancji wykrył tylko pozycję o wyjątkowo dużym efekcie.

Ankieta mieszana: dwie przyczyny jednej różnicy

Ankietę mieszaną (mixed-mode) projektuje się zwykle z dwóch powodów: żeby obniżyć koszt i żeby dotrzeć do osób, które w jednym trybie nie odpowiedzą. Typowy schemat sekwencyjny wygląda tak: najpierw zaproszenie do ankiety internetowej, a osoby, które jej nie wypełniły, dostają wywiad telefoniczny albo kwestionariusz papierowy. De Leeuw (2005) omawia typowe formy takich schematów oraz ich zalety i wady. Dla analizy najważniejszy problem polega na tym, że odpowiedzi z różnych trybów mogą się różnić z powodu samego trybu.

Definicję i najprostszą korektę wiekiem znajdziesz w haśle efekt trybu badania, a przegląd trybów CAWI, CATI, CAPI i PAPI – we wpisie rodzaje badań ankietowych. Ten wpis jest dla badacza, który ma już dane z dwóch trybów albo dopiero planuje badanie. Pokazuje, kiedy korekta kowariantami wystarcza, jakie projekty rozdzielają oba zjawiska i co z tego problemu wyłapie test inwariancji pomiaru.

Różnica średnich między trybami ma dwa składniki. Vannieuwenhuyze i in. (2010) nazywają je efektem selekcji i efektem pomiaru. Selekcja to różnica w tym, kto odpowiada w danym trybie: przez telefon odpowiadają częściej osoby starsze i mniej aktywne w internecie. Efekt pomiaru to różnica w tym, jak ta sama osoba odpowiada w różnych trybach. W ankiecie mieszanej każdy respondent odpowiada tylko w jednym trybie, więc oba składniki są ze sobą splątane. Vannieuwenhuyze i Loosveldt (2013) zauważają, że splątanie może być całkowite: z samych danych mieszanych nie da się ich rozdzielić bez dodatkowych założeń albo dodatkowych danych.

Przykład: różnica bliska zera, która niczego nie dowodzi

W symulacji 3000 osób wypełnia czteropozycyjną skalę dobrostanu (odpowiedzi 1–5, wynik to średnia). Przez internet odpowiedziało 1760 osób, a przez telefon 1240. Osoby wybierające telefon były starsze (średnio 58.4 wobec 43.4 roku) i rzadziej miały wyższe wykształcenie (42.5% wobec 62.3%). O wyborze trybu decyduje też cecha, której badacz nie mierzy: codzienna sprawność i aktywność, która podnosi dobrostan. Przez telefon odpowiedzi przesuwają się ku odpowiedziom pożądanym. Przesunięcie jest większe u starszych osób i największe w pozycji „Jestem zadowolony(-a) ze swojego życia”.

Ponieważ dane tworzymy sami, każda osoba ma dwa wyniki potencjalne: jak odpowiedziałaby w internecie i jak przez telefon (zob. model potencjalnych wyników). Pozwala to rozłożyć surową różnicę dokładnie na dwa składniki (Rysunek 1).

Wykres słupkowy: selekcja −0.37 punktu, efekt pomiaru +0.39 punktu, surowa różnica telefon minus internet +0.02 punktu
Rysunek 1. Rozkład surowej różnicy średnich między trybami na selekcję i efekt pomiaru w próbie 3000 osób. Obliczenia: R (dane symulowane).

Średni wynik wyniósł 3.268 przez telefon i 3.247 przez internet, więc surowa różnica to zaledwie 0.021 punktu. Kusi wniosek „tryb nie ma znaczenia, łączymy dane”. Tymczasem osoby z grupy telefonicznej mają dobrostan niższy o 0.372 punktu (selekcja), a telefon podnosi ich odpowiedzi o 0.393 punktu (efekt pomiaru). Dwa duże efekty o przeciwnych znakach prawie się znoszą. Jeśli w kolejnej edycji badania udział telefonu się zmieni, zmieni się też średnia ogólna, choć dobrostan populacji pozostanie taki sam.

Warto też ustalić, o który efekt trybu pytasz. W przykładzie telefon podnosi wynik o 0.393 punktu u osób, które go wybrały (ATT dla telefonu), o 0.310 u osób, które wybrały internet, i o 0.344 w całej próbie (ATE). Różnice biorą się stąd, że efekt jest większy u starszych. Każda z metod opisanych niżej szacuje inną z tych wielkości.

Jak tryb zmienia odpowiedzi

Efekt pomiaru ma kilka typowych źródeł. Warto je znać, bo podpowiadają, które pytania będą najbardziej wrażliwe na tryb.

  • Obecność ankietera. Przy ankieterze silniej działa aprobata społeczna. Kreuter i in. (2008) porównali odpowiedzi absolwentów z dokumentacją uczelni. Ankieta internetowa dawała więcej ujawnień drażliwych informacji i trafniejsze odpowiedzi niż wywiad telefoniczny. Do tego dochodzi zmienność między ankieterami (efekt ankietera).
  • Skale ocen. Klausch i in. (2013) w dużym eksperymencie pokazali, że tryby z ankieterem i tryby samodzielne mierzą pytania postaw na systematycznie różnych skalach. Między papierem a internetem oraz między wywiadem osobistym a telefonicznym takich różnic nie było. Tryby samodzielne miały przy tym wyższą rzetelność wskaźników. Część różnic to style odpowiedzi skrajnych i środkowych.
  • Kanał wzrokowy a słuchowy. Listę odpowiedzi czytaną z ekranu respondent przegląda od góry, a usłyszaną przez telefon zapamiętuje od końca. Stąd przewaga pierwszych opcji w trybach wzrokowych i ostatnich w słuchowych (efekt kolejności odpowiedzi). Krosnick (1991) wiąże takie zjawiska z satysfakcjonowaniem, czyli wybieraniem pierwszej odpowiedzi, która wydaje się wystarczająca, gdy pytanie wymaga dużego wysiłku.
  • Pytania drażliwe. Gdy anonimowość trybu samodzielnego nie wystarcza, zostają metody pośrednie: eksperyment listowy i technika randomizowanych odpowiedzi.

Projekt: kwestionariusz ujednolicony czy dopasowany do trybu

Najtańsza ochrona przed efektem pomiaru zaczyna się przed zbieraniem danych. Dillman i in. (2014) poświęcają podręcznik projektowaniu ankiet internetowych, telefonicznych, pocztowych i mieszanych (zob. metoda Dillmana). W praktyce wybierasz między dwiema strategiami:

Porównanie kwestionariusza ujednoliconego i dopasowanego do trybu
StrategiaNa czym polegaKiedy wybrać
Ujednolicona (unimode)To samo brzmienie, te same kategorie odpowiedzi i ta sama kolejność we wszystkich trybach; bez elementów, których nie da się przenieść (np. siatek pytań tylko na ekranie, ukrytej opcji „nie wiem” tylko u ankietera)Gdy łączysz odpowiedzi z różnych trybów w jednej analizie albo porównujesz grupy, które odpowiadały w różnych trybach
Dopasowana do trybu (mode-specific)Każdy tryb w najlepszej dla siebie wersji, nawet jeśli wersje się różniąGdy w każdym trybie liczy się przede wszystkim trafność odpowiedzi, a różnice wersji są sprawdzone, np. w eksperymencie

Wynik Klauscha i in. (2013) daje też prostą regułę doboru trybów do pytań o postawy: łącz tryby tego samego typu (papier z internetem albo wywiad osobisty z telefonicznym), a tryby z ankieterem i samodzielne łącz tylko ostrożnie. Przy wyborze programu sprawdź, czy wersja internetowa da się odwzorować na papierze i przez telefon (zob. narzędzia do ankiet online). W danych zawsze zapisuj tryb jako zmienną.

Korekta kowariantami i wagami

Najczęstsza analiza to regresja wyniku na zmienną trybu z kowariantami, które tłumaczą wybór trybu. Jej odmiana to wagi IPW, które upodabniają grupę internetową do telefonicznej (estymanda ATT). Ten sam mechanizm i jego granice omawiamy we wpisie o błędzie selekcji w praktyce. Vannieuwenhuyze i in. (2014) przypominają, że kowarianty korygujące selekcję muszą spełniać silne założenia, które zwykle się pomija. W praktyce chodzi o dwa warunki. Po pierwsze, kowarianty muszą w pełni tłumaczyć związek wyboru trybu z wynikiem. Po drugie, sam tryb nie może na nie wpływać. Wiek i wykształcenie spełniają drugi warunek, ale rzadko pierwszy.

Oszacowania efektu pomiaru telefonu różnymi metodami korekty i prawdziwa wartość
Metoda (cel: ATT dla telefonu = 0.393)Oszacowanie [95% CI]
Surowa różnica0.021 [−0.035, 0.077]
Regresja z wiekiem i wykształceniem0.112 [0.050, 0.174]
Wagi ATT z wieku i wykształcenia0.156 [0.086, 0.225]
Regresja z wynikiem z poprzedniej fali0.316 [0.281, 0.350]
Wagi ATT z wynikiem z poprzedniej fali0.382 [0.304, 0.460]

Demografia usunęła tylko część selekcji: wagi dały 0.156 przy prawdziwej wartości 0.393. Reszta selekcji biegnie przez cechę niezmierzoną. Dużo lepszym kowariantem jest wynik tej samej skali z poprzedniej fali, zebranej w jednym trybie dla wszystkich. Taka zmienna mierzy właśnie to, co różni grupy, a tryb bieżącej fali nie mógł na nią wpłynąć. Hox i in. (2015) kontrolowali w panelu mieszanym wyniki skal z poprzedniej, jednotrybowej fali. Zwykle poprawiało to równoważność pomiaru między trybami, choć nie dla wszystkich skal. Wagi z tym kowariantem dały 0.382, ale efektywna liczebność grupy internetowej spadła z 1760 do 737 osób.

W 500 powtórzeniach symulacji demografia zostawiła obciążenie −0.219 (wagi) i −0.248 (regresja). Z wynikiem poprzedniej fali obciążenie spadło do −0.034 i −0.065, ale nie do zera, bo poprzedni pomiar jest obarczony błędem. Regresja wypada tu gorzej od wag także dlatego, że przy efekcie zależnym od wieku nie szacuje czystego ATT.

Próba referencyjna i eksperyment z losowym trybem

Gdy kowariantów brakuje, problem rozwiązuje projekt badania. Vannieuwenhuyze i in. (2010) proponują porównać ankietę mieszaną z porównywalną próbą jednotrybową z tej samej populacji. Jeśli w próbie referencyjnej wszyscy odpowiadają przez telefon, jej średnia szacuje średnią telefoniczną całej populacji. Odejmując wkład osób, które w ankiecie mieszanej wybrały telefon, dostajemy średnią, jaką przez telefon uzyskaliby internauci. Kluczowe założenie: obie próby mają taki sam skład respondentów. Vannieuwenhuyze i Loosveldt (2013) porównali na tych samych danych trzy metody rozdzielania selekcji i pomiaru, w tym dwie z próbą jednotrybową, i uzyskali duże różnice wyników. Metodę opartą na zmiennych „niewrażliwych na tryb” uznali za wymagającą zwykle nierealistycznych założeń. Założenie o porównywalności prób trzeba więc uzasadnić, a nie przyjąć.

W przykładzie próba referencyjna liczy 1500 osób. Efekt telefonu u internautów oszacowano na 0.350, 95% CI [0.261, 0.433] (bootstrap percentylowy, 2000 powtórzeń), przy prawdziwej wartości 0.310. Selekcja mierzona na skali telefonicznej wyniosła −0.329.

Złotym standardem jest eksperyment z losowym przydziałem trybu. Losowanie usuwa selekcję, a różnica średnich szacuje efekt trybu w populacji (ATE). Jäckle i in. (2010) omawiają metody oceny efektów trybu i to, które efekty są w nich identyfikowane, na przykładzie eksperymentów Europejskiego Sondażu Społecznego. W przykładzie 1500 osób losowo podzielono na dwie grupy. Wynik: 0.264, 95% CI [0.183, 0.346], przy prawdziwym ATE 0.340. Przedział obejmuje prawdę, a w powtórzeniach symulacji średnie obciążenie wyniosło −0.001. Pamiętaj tylko, że eksperyment z odmowami w jednym z ramion znów wprowadza selekcję. Wtedy różnice w odsetku odpowiedzi trzeba analizować jak w każdym badaniu z błędem braku odpowiedzi.

Siedem oszacowań efektu telefonu z przedziałami ufności: surowa różnica 0.02, regresja z demografią 0.11, wagi z demografią 0.16, regresja z poprzednią falą 0.32, wagi z poprzednią falą 0.38, próba referencyjna 0.35, eksperyment 0.26; prawdziwe wartości 0.39, 0.31 i 0.34 zależnie od estymandy
Rysunek 2. Oszacowania efektu pomiaru telefonu w jednej próbie i prawdziwa wartość estymandy, którą szacuje każda metoda. Obliczenia: R (dane symulowane).
Wykresy pudełkowe błędu oszacowań w 500 powtórzeniach: surowa różnica około −0.35, kowarianty demograficzne od −0.25 do −0.22, wynik z poprzedniej fali od −0.07 do −0.03, próba referencyjna i eksperyment około zera
Rysunek 3. Różnica między oszacowaniem a prawdziwą wartością w 500 powtórzeniach całego badania. Obliczenia: R (dane symulowane).

Rysunek 3 pokazuje też koszt. SD oszacowań wyniosło 0.040 dla próby referencyjnej i 0.041 dla eksperymentu, wobec 0.027 dla wag z poprzednią falą. Projekty bez obciążenia wymagają dodatkowej próby i dają szersze przedziały.

Inwariancja pomiaru między trybami: co wykryje, a czego nie

Przy skalach wielopozycyjnych naturalnym krokiem jest wielogrupowa CFA z trybem jako grupą. Procedurę krok po kroku opisuje wpis inwariancja pomiaru krok po kroku, a wersję dla odpowiedzi porządkowych – kategorialna CFA w lavaan. W przykładzie model metryczny nie pogorszył dopasowania, Δχ²(3) = 0.94, p = .817. Model skalarny je pogorszył: Δχ²(3) = 158.63, p < .001, CFI = .962, RMSEA = .101. Test uwolnienia ograniczeń wskazał przede wszystkim wyraz wolny pozycji 4 (χ² = 148.33; dla pozycji 2: 49.43). Po jego uwolnieniu dopasowanie było bardzo dobre, χ²(9) = 9.71, CFI = 1.000, RMSEA = .007.

Test inwariancji wykrył więc pozycję, w której efekt telefonu był wyjątkowo duży. Nie wykrył natomiast części efektu wspólnej dla wszystkich pozycji. Po uwolnieniu pozycji 4 średnia latentna grupy telefonicznej wyniosła −0.068 SD, 95% CI [−0.124, −0.011]. Ten sam model dopasowany do odpowiedzi, jakie wszyscy daliby w internecie, daje −0.366 SD. Wspólne przesunięcie wszystkich pozycji model przypisał więc różnicy dobrostanu między grupami, czyli selekcji. To zgodne z wnioskiem Klauscha i in. (2013), że tryb działa głównie przez błąd systematyczny, który dotyka wielu pozycji jednakowo. Częściowa inwariancja skalarna nie dowodzi więc braku efektu trybu. Hox i in. (2015) dlatego przed testem równoważności korygowali selekcję metodami propensity score.

Jak opisać efekt trybu w artykule

Opisz schemat (kolejność trybów, kto dostał który), liczebności i porównanie składu grup. Podaj, jakim projektem lub jakimi kowariantami rozdzielono selekcję i pomiar, jaka jest estymanda i jakie założenie za tym stoi. Jeśli korygujesz wagami, podaj efektywną liczebność.

Dane zebrano sekwencyjnie: wszyscy uczestnicy panelu otrzymali zaproszenie do ankiety internetowej, a osobom, które jej nie wypełniły, zaproponowano wywiad telefoniczny. Przez internet odpowiedziało 1760 osób, a przez telefon 1240. Osoby odpowiadające przez telefon były starsze (M = 58.4 wobec 43.4 roku) i rzadziej miały wyższe wykształcenie (42.5% wobec 62.3%). Aby oddzielić efekt pomiaru od różnic w składzie grup, osoby odpowiadające przez internet ważono tak, by odpowiadały grupie telefonicznej (wagi ATT z modelu logistycznego z wiekiem, wykształceniem i wynikiem skali z poprzedniej, internetowej fali; efektywna liczebność 737 z 1760). Po ważeniu wynik przez telefon był wyższy o 0.38 punktu, 95% CI [0.30, 0.46] (bez korekty: 0.02 punktu). Korekta zakłada, że po uwzględnieniu tych zmiennych wybór trybu nie zależał od dobrostanu. Ponieważ tryb wpływał na pomiar, wyniki z obu trybów analizowano z trybem jako kowariantem.

Jeśli łączysz dane z kilku trybów i recenzent pyta o ich porównywalność, możemy wspólnie dobrać projekt, przygotować korektę i test inwariancji w ramach analiz statystycznych dla badaczy.

Przykład reprodukowalny

Przykład w R

Przepisy uruchamiasz po kolei w jednej sesji R (drugi i trzeci korzystają z funkcji i obiektów z pierwszego). Pierwszy zapisuje dane, które widzi badacz, do pliku ankieta-mieszana.csv (możesz go pobrać tutaj). Całość liczy się kilkanaście sekund. Potrzebne pakiety: WeightIt, sandwich, lmtest, boot i lavaan.

1. Selekcja i efekt pomiaru w ankiecie mieszanej

Dane wejściowe: 3000 respondentów, wiek, wykształcenie, wynik skali z poprzedniej fali, tryb (internet albo telefon) i skala dobrostanu 1–5 z czterech pozycji; każda osoba ma wynik potencjalny w obu trybach (dane symulowane, set.seed(3541)).

Co odczytać: liczebności i skład trybów, prawdziwy rozkład surowej różnicy na selekcję i efekt pomiaru (trzy estymandy), oszacowania z regresji i wag ATT z odpornym błędem standardowym oraz efektywną liczebność po ważeniu.

R
# Krok 1. Ankieta mieszana (internet albo telefon): surowa różnica = selekcja + efekt pomiaru (dane symulowane)
# Każda osoba ma dwa wyniki potencjalne: jak odpowiedziałaby w internecie i jak przez telefon.
suppressPackageStartupMessages({library(WeightIt); library(sandwich); library(lmtest)})

generuj <- function(n) {
  wiek <- round(runif(n, 18, 80))
  wyzsze <- rbinom(n, 1, plogis(0.3 - 0.03 * (wiek - 45)))
  u <- rnorm(n)                                    # cecha niezmierzona: sprawność i aktywność na co dzień
  eta <- 0.3 * wyzsze - 0.01 * (wiek - 45) + 0.4 * u + rnorm(n, 0, sqrt(0.7))   # prawdziwy dobrostan
  lam <- c(0.8, 0.9, 0.7, 0.8)
  e <- sapply(lam, function(l) rnorm(n, 0, 0.6))   # ten sam błąd losowy w obu trybach
  # Efekt pomiaru przez telefon (ankieter): przesunięcie ku odpowiedziom pożądanym, większe u starszych
  # i największe w pozycji 4 („Jestem zadowolony(-a) ze swojego życia”)
  delta <- outer(1 + 0.015 * (wiek - 45), c(0.25, 0.25, 0.25, 0.60))
  odp <- function(x) pmin(pmax(round(x), 1), 5)   # skala 1–5
  web <- odp(3 + outer(eta, lam) + e)
  tel <- odp(3 + outer(eta, lam) + e + delta)
  tryb <- ifelse(runif(n) < plogis(0.5 - 0.06 * (wiek - 45) + 0.6 * wyzsze + 0.8 * u), "web", "tel")
  poprz <- eta + rnorm(n, 0, 0.4)                  # wynik skali z poprzedniej fali (jeden tryb dla wszystkich)
  data.frame(wiek, wyzsze, u, eta, poprz, tryb, y_web = rowMeans(web), y_tel = rowMeans(tel),
             web = web, tel = tel)
}

set.seed(3541)
d <- generuj(3000)
d$telefon <- as.integer(d$tryb == "tel")
d$y <- ifelse(d$telefon == 1, d$y_tel, d$y_web)    # tylko ten wynik widzi badacz
write.csv(transform(d[, c("wiek", "wyzsze", "poprz", "tryb", "y")], poprz = round(poprz, 3), y = round(y, 2)),
          "ankieta-mieszana.csv", row.names = FALSE)

cat("Liczebność trybów:\n"); print(table(d$tryb))
sapply(split(d[, c("wiek", "wyzsze", "y")], d$tryb), function(x) round(colMeans(x), 3))

# Prawda (znana tylko w symulacji): rozkład surowej różnicy tel − web
T <- d$telefon == 1
prawda <- c(surowa = mean(d$y_tel[T]) - mean(d$y_web[!T]),
            selekcja = mean(d$y_web[T]) - mean(d$y_web[!T]),          # różnica składu, mierzona jednym trybem
            pomiar_ATT_tel = mean(d$y_tel[T] - d$y_web[T]),          # efekt trybu u odpowiadających przez telefon
            pomiar_ATE = mean(d$y_tel - d$y_web),                    # efekt trybu w całej próbie
            pomiar_ATT_web = mean(d$y_tel[!T] - d$y_web[!T]))        # efekt trybu u odpowiadających przez internet
round(prawda, 3)

# Szacowanie efektu pomiaru (ATT dla telefonu) z danych, które ma badacz
efekt <- function(m) { ct <- coeftest(m, vcov. = vcovHC(m, type = "HC0"))["telefon", 1:2]
  c(b = ct[[1]], dolna = ct[[1]] - 1.96 * ct[[2]], gorna = ct[[1]] + 1.96 * ct[[2]]) }
w_obs <- weightit(telefon ~ wiek + wyzsze, data = d, method = "glm", estimand = "ATT")
w_pop <- weightit(telefon ~ wiek + wyzsze + poprz, data = d, method = "glm", estimand = "ATT")
tab <- rbind(
  surowa             = efekt(lm(y ~ telefon, data = d)),
  regresja_wiek_wykszt = efekt(lm(y ~ telefon + wiek + wyzsze, data = d)),
  wagi_ATT_wiek_wykszt = efekt(lm(y ~ telefon, data = d, weights = w_obs$weights)),
  regresja_z_poprz_fala = efekt(lm(y ~ telefon + wiek + wyzsze + poprz, data = d)),
  wagi_ATT_z_poprz_fala = efekt(lm(y ~ telefon, data = d, weights = w_pop$weights)))
print(round(tab, 3))
cat("Efektywna liczebność grupy web po ważeniu (z poprzednią falą):",
    round(sum(w_pop$weights[!T])^2 / sum(w_pop$weights[!T]^2)), "z", sum(!T), "\n")
Wynik w R
Liczebność trybów:

 tel  web 
1240 1760 
          tel    web
wiek   58.422 43.449
wyzsze  0.425  0.623
y       3.268  3.247
        surowa       selekcja pomiar_ATT_tel     pomiar_ATE pomiar_ATT_web 
         0.021         -0.372          0.393          0.344          0.310 
                          b  dolna gorna
surowa                0.021 -0.035 0.077
regresja_wiek_wykszt  0.112  0.050 0.174
wagi_ATT_wiek_wykszt  0.156  0.086 0.225
regresja_z_poprz_fala 0.316  0.281 0.350
wagi_ATT_z_poprz_fala 0.382  0.304 0.460
Efektywna liczebność grupy web po ważeniu (z poprzednią falą): 737 z 1760 

2. Próba referencyjna, eksperyment i Monte Carlo

Dane wejściowe: funkcje i obiekty z przepisu 1; próba referencyjna 1500 osób odpowiadających przez telefon (set.seed(3542)), eksperyment 1500 osób z losowym trybem (set.seed(3543)), 500 powtórzeń całego badania (set.seed(3544)).

Co odczytać: oszacowanie efektu telefonu u internautów z próby referencyjnej z przedziałem bootstrapowym, wynik eksperymentu wobec prawdziwego ATE oraz średnią, obciążenie, SD i błąd Monte Carlo każdej metody względem estymandy, którą szacuje.

R
# Krok 2. Dwa projekty, które rozdzielają selekcję i pomiar, oraz powtórzenia Monte Carlo
# (wymaga funkcji generuj() i obiektów z kroku 1)
suppressPackageStartupMessages(library(boot))

# A. Próba referencyjna jednotrybowa (Vannieuwenhuyze i in., 2010): druga próba z tej samej populacji, wszyscy przez telefon.
#    E[Y_tel | web] = (E_ref[Y_tel] − p_tel · E[Y_tel | tel]) / p_web
set.seed(3542)
ref <- generuj(1500)
metoda_ref <- function(y_mm, tel_mm, y_ref) {
  p_tel <- mean(tel_mm)
  m_tel_tel <- mean(y_mm[tel_mm == 1]); m_web_web <- mean(y_mm[tel_mm == 0])
  m_tel_web <- (mean(y_ref) - p_tel * m_tel_tel) / (1 - p_tel)   # jak odpowiedzieliby przez telefon internauci
  c(pomiar_ATT_web = m_tel_web - m_web_web, selekcja_w_tel = m_tel_tel - m_tel_web)
}
est_ref <- metoda_ref(d$y, d$telefon, ref$y_tel)
dane_boot <- rbind(data.frame(y = d$y, tel = d$telefon, proba = 1), data.frame(y = ref$y_tel, tel = 1, proba = 2))
b_ref <- boot(dane_boot, function(x, i) { x <- x[i, ]; metoda_ref(x$y[x$proba == 1], x$tel[x$proba == 1], x$y[x$proba == 2]) },
              R = 2000, strata = dane_boot$proba)
ci_ref <- boot.ci(b_ref, type = "perc", index = 1)$percent[4:5]
round(c(oszacowanie = est_ref[["pomiar_ATT_web"]], dolna = ci_ref[1], gorna = ci_ref[2],
        prawda_ATT_web = prawda[["pomiar_ATT_web"]], selekcja_w_tel = est_ref[["selekcja_w_tel"]]), 3)

# B. Eksperyment z losowym przydziałem trybu: 1500 osób, połowa losowo do internetu, połowa do telefonu
set.seed(3543)
eks <- generuj(1500)
eks$telefon <- sample(rep(0:1, length.out = nrow(eks)))
eks$y <- ifelse(eks$telefon == 1, eks$y_tel, eks$y_web)
m_eks <- lm(y ~ telefon, data = eks)
round(c(efekt(m_eks), prawda_ATE = mean(eks$y_tel - eks$y_web)), 3)
# Zestawienie oszacowań z jednej próby (do rysunku 2)
osz <- data.frame(metoda = c(rownames(tab), "proba_referencyjna", "eksperyment"),
                  rbind(tab, c(est_ref[["pomiar_ATT_web"]], ci_ref), efekt(m_eks)),
                  cel = c(rep(prawda[["pomiar_ATT_tel"]], 5), prawda[["pomiar_ATT_web"]], mean(eks$y_tel - eks$y_web)))
write.csv(osz, "oszacowania-jedna-proba.csv", row.names = FALSE)

# C. Monte Carlo: 500 powtórzeń całego badania (3000 w ankiecie mieszanej, 1500 w próbie referencyjnej, 1500 w eksperymencie)
jedno_badanie <- function() {
  d <- generuj(3000); d$telefon <- as.integer(d$tryb == "tel"); d$y <- ifelse(d$telefon == 1, d$y_tel, d$y_web)
  T <- d$telefon == 1
  w1 <- weightit(telefon ~ wiek + wyzsze, data = d, method = "glm", estimand = "ATT")$weights
  w2 <- weightit(telefon ~ wiek + wyzsze + poprz, data = d, method = "glm", estimand = "ATT")$weights
  b <- function(f, w = rep(1, nrow(d))) { d$w <- w; coef(lm(f, data = d, weights = w))[["telefon"]] }
  r <- generuj(1500)
  e <- generuj(1500); e$telefon <- sample(rep(0:1, length.out = 1500)); e$y <- ifelse(e$telefon == 1, e$y_tel, e$y_web)
  c(surowa = b(y ~ telefon), regresja_wiek_wykszt = b(y ~ telefon + wiek + wyzsze), wagi_wiek_wykszt = b(y ~ telefon, w1),
    regresja_z_poprz = b(y ~ telefon + wiek + wyzsze + poprz), wagi_z_poprz = b(y ~ telefon, w2),
    proba_ref = metoda_ref(d$y, d$telefon, r$y_tel)[["pomiar_ATT_web"]],
    eksperyment = coef(lm(y ~ telefon, data = e))[["telefon"]],
    cel_ATT_tel = mean(d$y_tel[T] - d$y_web[T]), cel_ATT_web = mean(d$y_tel[!T] - d$y_web[!T]),
    cel_ATE = mean(e$y_tel - e$y_web), selekcja = mean(d$y_web[T]) - mean(d$y_web[!T]))
}
set.seed(3544)
mc <- t(replicate(500, jedno_badanie()))
write.csv(round(mc, 4), "mc-tryb.csv", row.names = FALSE)
cel <- c(rep("cel_ATT_tel", 5), "cel_ATT_web", "cel_ATE")
metody <- colnames(mc)[1:7]
wyn <- t(sapply(seq_along(metody), function(j) {
  x <- mc[, metody[j]]; blad <- x - mc[, cel[j]]
  c(srednia = mean(x), sredni_cel = mean(mc[, cel[j]]), obciazenie = mean(blad), SD = sd(x), blad_MC = sd(blad) / sqrt(nrow(mc)))
}))
rownames(wyn) <- paste(metody, "→", sub("cel_", "", cel))
print(round(wyn, 3))
round(c(srednia_selekcja = mean(mc[, "selekcja"]), SD_selekcja = sd(mc[, "selekcja"])), 3)
Wynik w R
   oszacowanie          dolna          gorna prawda_ATT_web selekcja_w_tel 
         0.350          0.261          0.433          0.310         -0.329 
         b      dolna      gorna prawda_ATE 
     0.264      0.183      0.346      0.340 
                               srednia sredni_cel obciazenie    SD blad_MC
surowa → ATT_tel                 0.044      0.392     -0.348 0.031   0.001
regresja_wiek_wykszt → ATT_tel   0.144      0.392     -0.248 0.035   0.002
wagi_wiek_wykszt → ATT_tel       0.173      0.392     -0.219 0.038   0.002
regresja_z_poprz → ATT_tel       0.327      0.392     -0.065 0.019   0.001
wagi_z_poprz → ATT_tel           0.358      0.392     -0.034 0.027   0.001
proba_ref → ATT_web              0.309      0.310     -0.001 0.040   0.002
eksperyment → ATE                0.342      0.343     -0.001 0.041   0.002
srednia_selekcja      SD_selekcja 
          -0.348            0.032 

3. Inwariancja pomiaru między trybami

Dane wejściowe: odpowiedzi na cztery pozycje z przepisu 1, grupa = tryb (internet jako grupa odniesienia).

Co odczytać: średnie pozycji w trybach, dopasowanie modeli konfiguralnego, metrycznego i skalarnego, testy różnicy χ², test uwolnienia wyrazów wolnych, średnią latentną grupy telefonicznej w modelu częściowej inwariancji i tę samą średnią bez efektu pomiaru.

R
# Krok 3. Inwariancja pomiaru między trybami: co wykryje, a czego nie (wymaga obiektu d z kroku 1)
suppressPackageStartupMessages(library(lavaan))
for (j in 1:4) d[[paste0("x", j)]] <- ifelse(d$telefon == 1, d[[paste0("tel.", j)]], d[[paste0("web.", j)]])
d$grupa <- factor(d$tryb, levels = c("web", "tel"))      # grupa odniesienia (pierwsza): internet
sapply(split(d[, paste0("x", 1:4)], d$grupa), function(x) round(colMeans(x), 3))

model <- "dobrostan =~ x1 + x2 + x3 + x4"
fit_konf <- cfa(model, data = d, group = "grupa", group.label = c("web", "tel"))
fit_metr <- cfa(model, data = d, group = "grupa", group.label = c("web", "tel"), group.equal = "loadings")
fit_skal <- cfa(model, data = d, group = "grupa", group.label = c("web", "tel"), group.equal = c("loadings", "intercepts"))
miary <- function(f) fitMeasures(f, c("chisq", "df", "cfi", "rmsea", "srmr"))
round(rbind(konfiguralny = miary(fit_konf), metryczny = miary(fit_metr), skalarny = miary(fit_skal)), 3)
lavTestLRT(fit_konf, fit_metr, fit_skal)

# Która pozycja łamie inwariancję skalarną? Test uwolnienia ograniczeń (score test)
lt <- lavTestScore(fit_skal)$uni
pt <- parTable(fit_skal)
lt$parametr <- pt$lhs[match(lt$lhs, pt$plabel)]
lt$op <- pt$op[match(lt$lhs, pt$plabel)]
print(subset(lt, op == "~1", select = c(parametr, X2, p.value)), row.names = FALSE, digits = 3)

# Częściowa inwariancja skalarna: uwalniamy wyraz wolny pozycji 4
fit_czes <- cfa(model, data = d, group = "grupa", group.label = c("web", "tel"), group.equal = c("loadings", "intercepts"),
                group.partial = "x4~1")
round(miary(fit_czes), 3)
pe <- parameterEstimates(fit_czes)
round(unlist(subset(pe, lhs == "dobrostan" & op == "~1" & group == 2)[, c("est", "ci.lower", "ci.upper")]), 3)
# Kontrola: ten sam model na odpowiedziach, jakie wszyscy daliby w internecie (sama selekcja, bez efektu pomiaru)
for (j in 1:4) d[[paste0("x", j)]] <- d[[paste0("web.", j)]]
fit_web <- cfa(model, data = d, group = "grupa", group.label = c("web", "tel"), group.equal = c("loadings", "intercepts"))
round(c(roznica_latentna_bez_efektu_pomiaru = subset(parameterEstimates(fit_web), lhs == "dobrostan" & op == "~1" & group == 2)$est), 3)
Wynik w R
     web   tel
x1 3.207 3.159
x2 3.286 3.167
x3 3.225 3.201
x4 3.269 3.546
               chisq df   cfi rmsea  srmr
konfiguralny   2.892  4 1.000 0.000 0.004
metryczny      3.827  7 1.000 0.000 0.007
skalarny     162.456 10 0.962 0.101 0.042

Chi-Squared Difference Test

         Df   AIC   BIC    Chisq Chisq diff   RMSEA Df diff Pr(>Chisq)    
fit_konf  4 28954 29098   2.8921                                          
fit_metr  7 28949 29075   3.8274      0.935 0.00000       3     0.8169    
fit_skal 10 29102 29210 162.4561    158.629 0.18597       3     <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
 parametr     X2 p.value
       x1   8.44   0.004
       x2  49.43   0.000
       x3   2.62   0.105
       x4 148.33   0.000
chisq    df   cfi rmsea  srmr 
9.705 9.000 1.000 0.007 0.010 
     est ci.lower ci.upper 
  -0.068   -0.124   -0.011 
roznica_latentna_bez_efektu_pomiaru 
                             -0.366 

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia przepisów 1–3 w R 4.5.3 (modele lm() i glm() z pakietu stats) z pakietami WeightIt, sandwich, lmtest, boot i lavaan; rysunki przygotowano w pakiecie ggplot2.

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. WeightIt (wersja 2.1.0): Greifer, N. (2026). WeightIt: Weighting for covariate balance in observational studies (R package version 2.1.0) [Computer software]. https://doi.org/10.32614/CRAN.package.WeightIt
  3. sandwich (wersja 3.1.1): Zeileis, A., Köll, S., & Graham, N. (2020). Various versatile variances: An object-oriented implementation of clustered covariances in R. Journal of Statistical Software, 95(1), 1–36. https://doi.org/10.18637/jss.v095.i01
  4. lmtest (wersja 0.9.40): Zeileis, A., & Hothorn, T. (2002). Diagnostic checking in regression relationships. R News, 2(3), 7–10. https://CRAN.R-project.org/doc/Rnews/
  5. boot (wersja 1.3-32): Canty, A., & Ripley, B. (2025). boot: Bootstrap functions (R package version 1.3-32) [Computer software]. https://doi.org/10.32614/CRAN.package.boot
  6. lavaan (wersja 0.7-2): Rosseel, Y. (2012). lavaan: An R package for structural equation modeling. Journal of Statistical Software, 48(2), 1–36. https://doi.org/10.18637/jss.v048.i02
  7. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org

Najczęstsze błędy

  • „Średnie w trybach są podobne, więc łączymy dane”. Podobne średnie mogą ukrywać selekcję i efekt pomiaru o przeciwnych znakach.
  • Surowa różnica nazwana efektem trybu. To suma selekcji i pomiaru, a nie efekt trybu.
  • Korekta tylko demografią. Działa wtedy, gdy demografia w pełni tłumaczy wybór trybu. Szukaj kowariantów bliskich badanej cesze i niezależnych od trybu, np. wyników z wcześniejszej fali.
  • Brak estymandy. Efekt trybu u osób wybierających telefon, u internautów i w całej populacji to trzy różne liczby.
  • Częściowa inwariancja jako dowód braku efektu trybu. Wspólne przesunięcie wszystkich pozycji przejdzie przez test i trafi do średniej latentnej.
  • Ważenie do struktury populacji jako lekarstwo na tryb. Ważenie sondażowe poprawia skład próby, ale nie zmienia tego, jak tryb wpłynął na odpowiedzi.

Najczęstsze pytania

Czy można łączyć dane z ankiety internetowej i telefonicznej?

Można, jeśli kwestionariusz jest ujednolicony, tryb jest zapisany jako zmienna i sprawdzono, czy efekt pomiaru nie zmienia wniosków. Podobne średnie w obu trybach tego nie dowodzą: w przykładzie selekcja (−0.37) i efekt pomiaru (+0.39) prawie się zniosły, a surowa różnica wyniosła 0.02 punktu.

Czym różni się efekt selekcji od efektu pomiaru w ankiecie mieszanej?

Selekcja to różnica w tym, kto odpowiada w danym trybie, np. starsze osoby częściej wybierają telefon. Efekt pomiaru to różnica w odpowiedzi tej samej osoby w różnych trybach, np. przesunięcie ku odpowiedziom pożądanym przy ankieterze. Surowa różnica średnich między trybami jest sumą obu.

Czy korekta wiekiem i wykształceniem usuwa efekt selekcji między trybami?

Tylko wtedy, gdy te zmienne w pełni tłumaczą wybór trybu. W symulacji, w której o wyborze decydowała też cecha niezmierzona, wagi z demografii dały 0.16 przy prawdziwym efekcie 0.39. Dużo lepszym kowariantem był wynik tej samej skali z wcześniejszej fali zebranej jednym trybem.

Jak zaplanować badanie, które rozdzieli selekcję i efekt trybu?

Są dwa projekty. Eksperyment z losowym przydziałem trybu usuwa selekcję i szacuje efekt trybu w populacji. Próba referencyjna, w której wszyscy odpowiadają w jednym trybie, pozwala oszacować, jak w tym trybie odpowiedzieliby respondenci drugiego trybu. Oba wymagają dodatkowej próby i dają szersze przedziały.

Czy test inwariancji pomiaru wykrywa efekt trybu?

Tylko częściowo. Wykrywa efekt, który różni się między pozycjami. Przesunięcie wspólne dla wszystkich pozycji przechodzi przez test i trafia do średniej latentnej. W przykładzie po uwolnieniu jednej pozycji grupa telefoniczna miała średnią −0.07 SD zamiast −0.37 SD, jaką dałby ten sam model bez efektu pomiaru.

Powiązane hasła

Przeczytaj też

Łączysz dane z kilku trybów i recenzent pyta o porównywalność?

Pomożemy dobrać projekt, który rozdzieli selekcję i efekt pomiaru, przygotować korektę wagami i test inwariancji oraz opis, który samodzielnie obronisz przed recenzentami.

Oferta dla badaczyPorozmawiaj o projekcie

Bibliografia i dalsza literatura naukowa (APA 7)

  1. de Leeuw, E. D. (2005). To mix or not to mix data collection modes in surveys. Journal of Official Statistics, 21, 233–255. https://dspace.library.uu.nl/handle/1874/202577
  2. Dillman, D. A., Smyth, J. D., & Christian, L. M. (2014). Internet, phone, mail, and mixed-mode surveys: The tailored design method (4th ed.). Wiley. https://doi.org/10.1002/9781394260645
  3. Hox, J. J., De Leeuw, E. D., & Zijlmans, E. A. O. (2015). Measurement equivalence in mixed mode surveys. Frontiers in Psychology, 6, Article 87. https://doi.org/10.3389/fpsyg.2015.00087 ● Otwarty dostęp
  4. Jäckle, A., Roberts, C., & Lynn, P. (2010). Assessing the effect of data collection mode on measurement. International Statistical Review, 78(1), 3–20. https://doi.org/10.1111/j.1751-5823.2010.00102.x
  5. Klausch, T., Hox, J. J., & Schouten, B. (2013). Measurement effects of survey mode on the equivalence of attitudinal rating scale questions. Sociological Methods & Research, 42(3), 227–263. https://doi.org/10.1177/0049124113500480
  6. Kreuter, F., Presser, S., & Tourangeau, R. (2008). Social desirability bias in CATI, IVR, and web surveys: The effects of mode and question sensitivity. Public Opinion Quarterly, 72(5), 847–865. https://doi.org/10.1093/poq/nfn063 ● Otwarty dostęp
  7. Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213–236. https://doi.org/10.1002/acp.2350050305
  8. Vannieuwenhuyze, J. T. A., & Loosveldt, G. (2013). Evaluating relative mode effects in mixed-mode surveys: Three methods to disentangle selection and measurement effects. Sociological Methods & Research, 42(1), 82–104. https://doi.org/10.1177/0049124112464868
  9. Vannieuwenhuyze, J. T. A., Loosveldt, G., & Molenberghs, G. (2014). Evaluating mode effects in mixed-mode survey data using covariate adjustment models. Journal of Official Statistics, 30(1), 1–21. https://doi.org/10.2478/jos-2014-0001 ● Otwarty dostęp
  10. Vannieuwenhuyze, J., Loosveldt, G., & Molenberghs, G. (2010). A method for evaluating mode effects in mixed-mode surveys. Public Opinion Quarterly, 74(5), 1027–1045. https://doi.org/10.1093/poq/nfq059 ● Otwarty dostęp

Cytowania BibTeX

@article{deleeuw2005mix, author={de Leeuw, Edith D.}, title={{To mix or not to mix data collection modes in surveys}}, journal={Journal of Official Statistics}, year={2005}, volume={21}, pages={233--255}, url={https://dspace.library.uu.nl/handle/1874/202577}}
@book{dillman2014internet, author={Dillman, Don A. and Smyth, Jolene D. and Christian, Leah Melani}, title={{Internet, phone, mail, and mixed-mode surveys: The tailored design method (4th ed.)}}, year={2014}, publisher={Wiley}, doi={10.1002/9781394260645}}
@article{hox2015measurement, author={Hox, Joop J. and De Leeuw, Edith D. and Zijlmans, Eva A. O.}, title={{Measurement equivalence in mixed mode surveys}}, journal={Frontiers in Psychology}, year={2015}, volume={6}, eid={87}, doi={10.3389/fpsyg.2015.00087}}
@article{jackle2010assessing, author={Jäckle, Annette and Roberts, Caroline and Lynn, Peter}, title={{Assessing the effect of data collection mode on measurement}}, journal={International Statistical Review}, year={2010}, volume={78}, number={1}, pages={3--20}, doi={10.1111/j.1751-5823.2010.00102.x}}
@article{klausch2013measurement, author={Klausch, Thomas and Hox, Joop J. and Schouten, Barry}, title={{Measurement effects of survey mode on the equivalence of attitudinal rating scale questions}}, journal={Sociological Methods \& Research}, year={2013}, volume={42}, number={3}, pages={227--263}, doi={10.1177/0049124113500480}}
@article{kreuter2008social, author={Kreuter, F. and Presser, S. and Tourangeau, R.}, title={{Social desirability bias in CATI, IVR, and web surveys: The effects of mode and question sensitivity}}, journal={Public Opinion Quarterly}, year={2008}, volume={72}, number={5}, pages={847--865}, doi={10.1093/poq/nfn063}}
@article{krosnick1991response, author={Krosnick, Jon A.}, title={{Response strategies for coping with the cognitive demands of attitude measures in surveys}}, journal={Applied Cognitive Psychology}, year={1991}, volume={5}, number={3}, pages={213--236}, doi={10.1002/acp.2350050305}}
@article{vannieuwenhuyze2013evaluating, author={Vannieuwenhuyze, Jorre T. A. and Loosveldt, Geert}, title={{Evaluating relative mode effects in mixed-mode surveys: Three methods to disentangle selection and measurement effects}}, journal={Sociological Methods \& Research}, year={2013}, volume={42}, number={1}, pages={82--104}, doi={10.1177/0049124112464868}}
@article{vannieuwenhuyze2014evaluating, author={Vannieuwenhuyze, Jorre T. A. and Loosveldt, Geert and Molenberghs, Geert}, title={{Evaluating mode effects in mixed-mode survey data using covariate adjustment models}}, journal={Journal of Official Statistics}, year={2014}, volume={30}, number={1}, pages={1--21}, doi={10.2478/jos-2014-0001}}
@article{vannieuwenhuyze2010method, author={Vannieuwenhuyze, J. and Loosveldt, G. and Molenberghs, G.}, title={{A method for evaluating mode effects in mixed-mode surveys}}, journal={Public Opinion Quarterly}, year={2010}, volume={74}, number={5}, pages={1027--1045}, doi={10.1093/poq/nfq059}}
R