Słownik metodologiczny · Pomiar i skale

Eksperyment listowy – jak oszacować odsetek bez pytania wprost?

W eksperymencie listowym respondent podaje tylko, ile stwierdzeń z listy go dotyczy. Różnica średnich między wersją z pytaniem drażliwym i bez niego szacuje odsetek. Pokazujemy projekt listy, przykład w R i koszty.

Strona główna / Słownik / Eksperyment listowy
W skrócie: Eksperyment listowy to pośredni pomiar cechy drażliwej: jedna losowa grupa liczy, ile stwierdzeń neutralnych jej dotyczy, druga – te same stwierdzenia i jedno drażliwe. Różnica średnich liczby wskazań to oszacowany odsetek. Ceną za prywatność jest duży błąd standardowy.

Co to jest eksperyment listowy?

Eksperyment listowy (ang. list experiment, item count technique, technika liczenia stwierdzeń) to pośredni sposób pytania o sprawy drażliwe. Respondent widzi listę stwierdzeń i podaje tylko, ile z nich go dotyczy, a nie które. Osoby losowo przydzielone do grupy kontrolnej dostają listę stwierdzeń neutralnych, a grupa eksperymentalna – tę samą listę z jednym stwierdzeniem drażliwym. Różnica średnich liczby wskazań między grupami szacuje odsetek osób z cechą drażliwą.

Jak zaprojektować listę

  • Zwykle 3–5 stwierdzeń neutralnych. Unikaj takich, które prawie wszyscy potwierdzają lub odrzucają: kto wskaże wszystkie, ujawnia cechę drażliwą (efekt sufitu i podłogi).
  • Stwierdzenie drażliwe dopisz tak, by nie wyróżniało się formą. Wersje listy losuje formularz, jak w eksperymencie winietowym.
  • Analiza opiera się na dwóch założeniach: dodanie stwierdzenia nie zmienia odpowiedzi na pozostałe (brak efektu schematu) i respondenci nie kłamią w liczbie. Blair i Imai (2012) formułują te założenia, proponują regresję wielozmienną i metody wykrywania ich naruszeń.

Glynn (2013) zauważa, że standardowy eksperyment listowy wymaga dużej próby, i podaje zasady projektowania zmniejszające obciążenie i wariancję oraz wzory na liczebność próby.

Przykład

Tysiąc osób (dane symulowane, prawdziwy odsetek 20%) losowo podzielono na dwie grupy po 500. Średnia liczba wskazań wyniosła 1.968 przy pięciu stwierdzeniach i 1.866 przy czterech. Różnica, liczona testem Welcha, daje oszacowanie 10.2%, 95% CI [−2.0, 22.4]: przedział obejmuje prawdziwe 20%, ale także zero. Błąd standardowy (0.062) jest blisko pięć razy większy niż przy pytaniu wprost (0.013): za prywatność płaci się precyzją. Estymator największej wiarygodności Blaira i Imaia (2012) daje 11.6%, 95% CI [2.2, 21.1]; jest węższy, bo zakłada dwumianowy rozkład wskazań stwierdzeń neutralnych.

Jak opisać w pracy

Odsetek osób z cechą drażliwą oszacowano eksperymentem listowym: grupa kontrolna (n = 500) oceniała cztery stwierdzenia neutralne, a grupa eksperymentalna (n = 500) dodatkowo stwierdzenie drażliwe. Średnia liczba wskazań wyniosła 1.968 i 1.866, co daje oszacowany odsetek 10.2%, 95% CI [−2.0, 22.4].

Na co uważać

  • Nadzieja na duży efekt. Metaanaliza eksperymentów listowych Blaira, Coppocka i Moor (2020) pokazała, że obciążenie pytań bezpośrednich jest zwykle mniejsze niż 10 punktów procentowych, a w niektórych dziedzinach bliskie zera. Przy dużej wariancji metoda pośrednia nie zawsze się opłaca.
  • Ujemne oszacowanie. Przy małych próbach różnica może wyjść poniżej zera; raportuj ją z przedziałem, nie poprawiaj na 0.

Inną metodą pośrednią jest technika randomizowanych odpowiedzi; obie odpowiadają na problem aprobaty społecznej.

Przykład reprodukowalny

Eksperyment listowy w R

Kod losuje 1000 osób do dwóch wersji listy, liczy odpowiedzi jako sumę wskazanych stwierdzeń i porównuje średnie testem Welcha (t.test). Różnica średnich to oszacowany odsetek osób z cechą drażliwą. Tabela odsetków pokazuje, ile osób wskazało wszystkie stwierdzenia. Funkcja list::ictreg() z method = "ml" szacuje ten sam odsetek metodą największej wiarygodności; predyktory dopisuje się w formule (regresja wielozmienna). Liczby w tekście pochodzą z tego kodu.

Różnica średnich w eksperymencie listowym

Dane wejściowe: 1000 symulowanych osób, cztery stwierdzenia neutralne i jedno drażliwe, prawdziwy odsetek 20% (set.seed(542)).

Co odczytać: roznica = 0.102 [−0.020, 0.224], se = 0.062 wobec 0.013 przy pytaniu wprost; 0.6% osób w grupie eksperymentalnej wskazało wszystkie pięć stwierdzeń; z ictreg() odsetek 0.116 [0.022, 0.211].

R
set.seed(542)                                    # 1000 osób, losowo do dwóch wersji listy
n <- 1000
grupa <- sample(rep(c("kontrolna", "eksperymentalna"), each = n / 2))
p_neutr <- c(0.70, 0.20, 0.55, 0.35)             # 4 stwierdzenia neutralne
neutr <- sapply(p_neutr, function(p) rbinom(n, 1, p))
wrazl <- rbinom(n, 1, 0.20)                      # stwierdzenie drażliwe, prawdziwy odsetek 20%
liczba <- rowSums(neutr) + ifelse(grupa == "eksperymentalna", wrazl, 0)
tapply(liczba, grupa, mean)
t <- t.test(liczba[grupa == "eksperymentalna"], liczba[grupa == "kontrolna"])
round(c(roznica = unname(diff(rev(t$estimate))), se = t$stderr, dolna = t$conf.int[1], gorna = t$conf.int[2]), 3)
round(c(se_pytanie_bezposrednie = sqrt(0.2 * 0.8 / n)), 3)   # dla porównania: ta sama n, odsetek 20%
round(prop.table(table(grupa, liczba), 1), 3)    # odsetki odpowiedzi 0–5 (efekt sufitu: 5 ujawnia cechę)
# Model Blaira i Imaia (2012): list::ictreg(); predyktory dopisz po prawej stronie, np. liczba ~ wiek
d <- data.frame(liczba, eksp = as.numeric(grupa == "eksperymentalna"))
m <- list::ictreg(liczba ~ 1, treat = "eksp", J = 4, method = "ml", data = d)
round(unlist(predict(m, avg = TRUE, interval = "confidence")$fit), 3)   # odsetek ML i 95% CI
Wynik w R
eksperymentalna       kontrolna 
          1.968           1.866 
roznica      se   dolna   gorna 
  0.102   0.062  -0.020   0.224 
se_pytanie_bezposrednie 
                  0.013 
                 liczba
grupa                 0     1     2     3     4     5
  eksperymentalna 0.064 0.286 0.348 0.228 0.068 0.006
  kontrolna       0.050 0.298 0.426 0.188 0.038 0.000
  fit   lwr   upr 
0.116 0.022 0.211 

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje pakietów base i stats oraz pakiet list 9.2.6). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. list (wersja 9.2.6): Blair, G., & Imai, K. (2024). list: Statistical methods for the item count technique and list experiment (R package version 9.2.6) [Computer software]. https://CRAN.R-project.org/package=list

Najczęstsze pytania

Ile stwierdzeń neutralnych dać w eksperymencie listowym?

Zwykle 3–5. Przy zbyt krótkiej liście łatwo zgadnąć odpowiedź na stwierdzenie drażliwe, a przy zbyt długiej rośnie wariancja i zmęczenie respondenta.

Dlaczego w eksperymencie listowym oszacowanie wyszło ujemne?

Bo różnica średnich z dwóch losowych grup ma dużą wariancję. Przy niskim odsetku i małej próbie może spaść poniżej zera. Raportuj ją z przedziałem ufności, bez obcinania do zera.

Czy eksperyment listowy działa w ankiecie online?

Tak, wystarczy losowy przydział do wersji formularza. Ważne, by respondent wpisywał tylko liczbę, a nie zaznaczał pojedynczych stwierdzeń, bo wtedy prywatność znika.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Blair, G., & Imai, K. (2012). Statistical analysis of list experiments. Political Analysis, 20(1), 47–77. https://doi.org/10.1093/pan/mpr048 ● Otwarty dostęp
  2. Blair, G., Coppock, A., & Moor, M. (2020). When to worry about sensitivity bias: A social reference theory and evidence from 30 years of list experiments. American Political Science Review, 114(4), 1297–1315. https://doi.org/10.1017/s0003055420000374 ● Otwarty dostęp
  3. Glynn, A. N. (2013). What can we learn with statistical truth serum? Design and analysis of the list experiment. Public Opinion Quarterly, 77(S1), 159–172. https://doi.org/10.1093/poq/nfs070 ● Otwarty dostęp

Cytowania BibTeX

@article{blair2012statistical, author={Blair, Graeme and Imai, Kosuke}, title={{Statistical analysis of list experiments}}, journal={Political Analysis}, year={2012}, volume={20}, number={1}, pages={47--77}, doi={10.1093/pan/mpr048}}
@article{blair2020when, author={Blair, Graeme and Coppock, Alexander and Moor, Margaret}, title={{When to worry about sensitivity bias: A social reference theory and evidence from 30 years of list experiments}}, journal={American Political Science Review}, year={2020}, volume={114}, number={4}, pages={1297--1315}, doi={10.1017/s0003055420000374}}
@article{glynn2013what, author={Glynn, Adam N.}, title={{What can we learn with statistical truth serum? Design and analysis of the list experiment}}, journal={Public Opinion Quarterly}, year={2013}, volume={77}, number={S1}, pages={159--172}, doi={10.1093/poq/nfs070}}
R