Słownik metodologiczny · Dobór próby

Błąd braku odpowiedzi (non-response bias) – kiedy niski response rate szkodzi?

Niski odsetek odpowiedzi budzi niepokój, ale o jakości próby decyduje to, czy osoby milczące różnią się od respondentów. Pokazujemy wzór na obciążenie, przykład i sposoby sprawdzenia.

Strona główna / Słownik / Błąd braku odpowiedzi
W skrócie: Błąd braku odpowiedzi powstaje, gdy osoby, które nie wzięły udziału w badaniu, różnią się w badanej zmiennej od respondentów. Obciążenie zależy od wskaźnika odpowiedzi i od tej różnicy, więc niski response rate nie zawsze szkodzi, a wysoki nie zawsze chroni.

Co to jest błąd braku odpowiedzi?

Błąd braku odpowiedzi (ang. non-response bias) to obciążenie wyniku, które powstaje, gdy osoby, które nie wzięły udziału w badaniu, różnią się w badanej zmiennej od tych, które odpowiedziały. Groves (2006) podkreśla, że brak odpowiedzi może, ale nie musi prowadzić do obciążenia. Dlatego sam niski wskaźnik odpowiedzi nie przesądza o jakości próby.

Kiedy niski wskaźnik odpowiedzi szkodzi

obciążenie ≈ (1 − RR) × (ȳresp − ȳnieresp)

RR to wskaźnik odpowiedzi, a ȳresp i ȳnieresp – średnie (lub odsetki) wśród respondentów i nierespondentów. Gdy chęć udziału nie wiąże się z badaną zmienną, nawet niski RR daje trafny wynik; gdy się wiąże, szkodzi nawet przy wysokim RR. W metaanalizie 59 badań Groves i Peytcheva (2008) sprawdzali, w jakich warunkach odsetek braku odpowiedzi wiąże się z obciążeniem, a w jakich nie. Mechanizm przypomina braki danych MNAR, tylko dotyczy całych osób.

Przykład

W populacji studentów 30% ma objawy wypalenia. Przy RR = 25% i braku różnicy między respondentami a nierespondentami ankieta pokazuje 30% (obciążenie 0). Przy RR = 70%, ale z odsetkiem 27% wśród respondentów i 37% wśród nierespondentów, wynik jest zaniżony o 3 punkty procentowe. Przy RR = 25% i odsetkach 21% wobec 33% – aż o 9 punktów.

Na rysunku

Wzór z poprzedniej sekcji łatwiej zrozumieć na krzywych. Siłę związku między chęcią udziału a badaną cechą opisuje tu iloraz szans odpowiedzi (OR): szanse, że ankietę wypełni osoba z objawami wypalenia, podzielone przez szanse osoby bez objawów. Rysunek nie korzysta z losowania – krzywe wynikają ze wzoru.

Wykres liniowy obciążenia odsetka osób z objawami wypalenia (oś pionowa, punkty procentowe od −15 do 0) względem wskaźnika odpowiedzi od 5 do 100%. Czarna ciągła linia OR = 1 leży na zerze. Linie OR = 0.8 (niebieska, długie kreski), 0.6 (pomarańczowa, kreskowana) i 0.4 (czerwona, kropkowana) zaczynają się nisko przy małym RR i wznoszą do zera przy RR = 100%; przy RR = 25% wynoszą −3.4, −7.6 i −12.8 punktu. Trzy białe kółka to przykłady z hasła: 0 przy RR = 25%, −3 przy RR = 70% (na linii OR = 0.6) i −9 przy RR = 25% (między liniami 0.6 i 0.4)
Rysunek 1. Obciążenie odsetka osób z objawami wypalenia (30% w populacji) w zależności od wskaźnika odpowiedzi i ilorazu szans odpowiedzi osób z objawami i bez nich. Kółka – trzy scenariusze z przykładu. Obliczenia: R, pakiet ggplot2 (wzór, bez danych losowych).

Co widać. Gdy chęć udziału nie zależy od objawów (OR = 1), obciążenia nie ma przy żadnym RR. Gdy osoby z objawami odpowiadają rzadziej, wynik jest zaniżony, i to tym bardziej, im niższy RR: przy OR = 0.6 obciążenie wynosi −7.6 punktu przy RR = 25% i −3.3 punktu przy RR = 70%. O wielkości obciążenia decydują więc oba czynniki naraz. Przykład 1 ma niski RR i zerowe obciążenie. Przykłady 2 i 3 mają podobną siłę związku (OR = 0.63 i 0.54), a różnią się obciążeniem (−3 i −9 punktów), bo różnią się RR.

Na co uważać. W prawdziwym badaniu OR jest nieznany, bo nie znamy odpowiedzi nierespondentów – wykres pokazuje scenariusze, a nie wynik, który można odczytać z danych. Krzywe opisują obciążenie systematyczne; błąd losowy z małej liczby odpowiedzi dochodzi do niego osobno. Model zakłada też, że chęć udziału zależy tylko od badanej cechy. Jak w podobnej sytuacji działa ważenie, pokazuje wpis Próba reprezentatywna w obrazkach, a rozrzut obciążenia w wielu ankietach – hasło wskaźnik odpowiedzi.

Podpis do pracy:

Rysunek 1. Obciążenie oszacowania odsetka osób z objawami wypalenia w zależności od wskaźnika odpowiedzi przy różnym ilorazie szans udziału w badaniu osób z objawami i bez objawów. Uwaga. Odsetek w populacji przyjęto jako 30%; OR = 1 oznacza, że udział w badaniu nie zależy od objawów. Wartości ujemne oznaczają zaniżenie odsetka w próbie.

Kod rysuje krzywe i liczy obciążenie dla RR = 25% i 70% oraz OR odpowiadający trzem scenariuszom z przykładu. Wartości OR (1, 0.8, 0.6, 0.4) dobrano ręcznie jako przykładowe. Rysunek na stronie różni się od wyniku kodu tylko motywem serwisu.

Kod R rysunku 1
# Rysunek 1. Obciążenie odsetka osób z objawami wypalenia w funkcji wskaźnika odpowiedzi (RR)
# przy różnej sile związku między chęcią udziału w badaniu a badaną cechą
library(ggplot2)
motyw <- theme_minimal(base_size = 13) +
  theme(panel.grid.minor = element_blank(), legend.position = "bottom", plot.title = element_text(face = "bold"))
kol <- c("OR = 1" = "#000000", "OR = 0.8" = "#56B4E9", "OR = 0.6" = "#E69F00", "OR = 0.4" = "#D55E00")

p_pop <- 0.30   # odsetek osób z objawami w populacji (jak w przykładzie hasła)
# OR = iloraz szans odpowiedzi osób z objawami względem osób bez objawów (OR = 1: brak związku)
odsetki_odp <- function(rr, or) {   # prawdopodobieństwa odpowiedzi bez objawów (q0) i z objawami (q1) przy łącznym RR
  q1_z_q0 <- function(q0) { o <- or * q0 / (1 - q0); o / (1 + o) }
  q0 <- uniroot(function(q0) p_pop * q1_z_q0(q0) + (1 - p_pop) * q0 - rr, c(1e-9, 1 - 1e-9), tol = 1e-12)$root
  c(q0 = q0, q1 = q1_z_q0(q0))
}
obciazenie_pp <- function(rr, or) {  # odsetek wśród respondentów minus odsetek w populacji, w punktach procentowych
  if (rr >= 1) return(0)
  q <- odsetki_odp(rr, or)
  100 * (p_pop * q[["q1"]] / rr - p_pop)
}
siatka <- expand.grid(rr = seq(0.05, 1, by = 0.01), or = c(1, 0.8, 0.6, 0.4))
siatka$obc <- mapply(obciazenie_pp, siatka$rr, siatka$or)
siatka$krzywa <- factor(paste("OR =", siatka$or), levels = names(kol))
# obciążenie przy RR = 25% i 70% dla każdego OR
wybrane <- subset(siatka, round(rr, 2) %in% c(0.25, 0.70))
tab <- round(tapply(wybrane$obc, list(wybrane$krzywa, paste0("RR = ", round(100 * wybrane$rr), "%")), identity), 1)
tab

# Trzy scenariusze z przykładu hasła: RR, odsetek wśród respondentów i nierespondentów
scen <- data.frame(rr = c(0.25, 0.70, 0.25), p_resp = c(0.30, 0.27, 0.21), p_nieresp = c(0.30, 0.37, 0.33))
scen$obc <- 100 * (scen$p_resp - (scen$rr * scen$p_resp + (1 - scen$rr) * scen$p_nieresp))
# jaki OR odpowiada każdemu scenariuszowi: q1, q0 = odsetek odpowiadających wśród osób z objawami i bez nich
q1 <- scen$rr * scen$p_resp / p_pop; q0 <- scen$rr * (1 - scen$p_resp) / (1 - p_pop)
scen$or <- (q1 / (1 - q1)) / (q0 / (1 - q0))
round(scen, 2)

p1 <- ggplot(siatka, aes(rr * 100, obc, colour = krzywa, linetype = krzywa)) +
  geom_hline(yintercept = 0, colour = "grey40") +
  geom_line(linewidth = 1.1) +
  geom_point(data = scen, aes(rr * 100, obc), inherit.aes = FALSE, shape = 21, size = 3.6, stroke = 1.2,
             fill = "white", colour = "black") +
  annotate("text", x = c(27, 72, 27), y = scen$obc, label = c("przykład 1", "przykład 2", "przykład 3"),
           hjust = 0, vjust = c(-0.8, -0.8, 1.6), size = 3.8) +
  scale_colour_manual(values = kol, name = "Iloraz szans odpowiedzi (z objawami : bez):") +
  scale_linetype_manual(values = c("solid", "longdash", "dashed", "dotted"), name = "Iloraz szans odpowiedzi (z objawami : bez):") +
  scale_x_continuous(breaks = seq(0, 100, 20), limits = c(0, 100)) +
  labs(title = "Obciążenie odsetka a wskaźnik odpowiedzi",
       x = "Wskaźnik odpowiedzi RR (%)", y = "Obciążenie (punkty procentowe)") +
  motyw
p1
Wynik w R
         RR = 25% RR = 70%
OR = 1        0.0      0.0
OR = 0.8     -3.4     -1.4
OR = 0.6     -7.6     -3.3
OR = 0.4    -12.8     -6.0
    rr p_resp p_nieresp obc   or
1 0.25   0.30      0.30   0 1.00
2 0.70   0.27      0.37  -3 0.63
3 0.25   0.21      0.33  -9 0.54

Bibliografia oprogramowania

Wyniki i rysunek pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (pakiety base, stats i ggplot2 4.0.2). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org

Jak to sprawdzić

  • Porównaj wczesnych i późnych respondentów. Osoby, które odpowiedziały dopiero po przypomnieniu, traktuje się jako przybliżenie nierespondentów; to prosta forma ekstrapolacji opisanej przez Armstronga i Overtona (1977). W symulowanym przykładzie objawy wypalenia miało 26.4% wczesnych (n = 220) i 34.4% późnych (n = 90) respondentów, χ²(1) = 1.66, p = .197 (zob. test dla dwóch proporcji).
  • Porównaj próbę z danymi o populacji (płeć, wiek, kierunek) i w razie potrzeby zastosuj ważenie.

Jak opisać w pracy

Aby ocenić ryzyko błędu braku odpowiedzi, porównano osoby, które odpowiedziały przed przypomnieniem (n = 220), z osobami, które odpowiedziały dopiero po nim (n = 90). Odsetek osób z objawami wypalenia wynosił odpowiednio 26.4% i 34.4%, χ²(1) = 1.66, p = .197.

Na co uważać

Nieistotna różnica między wczesnymi i późnymi respondentami nie dowodzi braku obciążenia – w przykładzie różnica 8.1 punktu procentowego przy małej grupie późnych respondentów okazała się nieistotna. Zgodność próby z populacją w płci i wieku też nie gwarantuje zgodności w badanej zmiennej (zob. reprezentatywność próby). Jak zwiększać udział już przy rekrutacji, piszemy we wpisie Gdzie znaleźć respondentów do ankiety?

Najczęstsze pytania

Czy niski response rate oznacza, że wyniki są obciążone?

Nie zawsze. Obciążenie pojawia się, gdy chęć udziału wiąże się z badaną zmienną. Przy niskim wskaźniku odpowiedzi ryzyko jest jednak większe, bo nawet mała różnica mnoży się przez duży odsetek nierespondentów.

Jak sprawdzić błąd braku odpowiedzi w pracy magisterskiej?

Porównaj osoby odpowiadające przed przypomnieniem i po nim oraz zestaw strukturę próby z danymi o populacji. Opisz wynik ostrożnie: brak różnic nie dowodzi braku obciążenia.

Czym różni się błąd braku odpowiedzi od braków danych?

Błąd braku odpowiedzi dotyczy osób, które w ogóle nie wzięły udziału w badaniu. Braki danych to pominięte pytania u osób, które ankietę wypełniły.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Armstrong, J. S., & Overton, T. S. (1977). Estimating nonresponse bias in mail surveys. Journal of Marketing Research, 14(3), 396–402. https://doi.org/10.1177/002224377701400320
  2. Groves, R. M. (2006). Nonresponse rates and nonresponse bias in household surveys. Public Opinion Quarterly, 70(5), 646–675. https://doi.org/10.1093/poq/nfl033
  3. Groves, R. M., & Peytcheva, E. (2008). The impact of nonresponse rates on nonresponse bias: A meta-analysis. Public Opinion Quarterly, 72(2), 167–189. https://doi.org/10.1093/poq/nfn011 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@article{armstrong1977estimating, author={Armstrong, J. Scott and Overton, Terry S.}, title={{Estimating nonresponse bias in mail surveys}}, journal={Journal of Marketing Research}, year={1977}, volume={14}, number={3}, pages={396--402}, doi={10.1177/002224377701400320}}
@article{groves2006nonresponse, author={Groves, Robert M.}, title={{Nonresponse rates and nonresponse bias in household surveys}}, journal={Public Opinion Quarterly}, year={2006}, volume={70}, number={5}, pages={646--675}, doi={10.1093/poq/nfl033}}
@article{groves2008impact, author={Groves, R. M. and Peytcheva, E.}, title={{The impact of nonresponse rates on nonresponse bias: A meta-analysis}}, journal={Public Opinion Quarterly}, year={2008}, volume={72}, number={2}, pages={167--189}, doi={10.1093/poq/nfn011}}
R