Co to jest błąd braku odpowiedzi?
Błąd braku odpowiedzi (ang. non-response bias) to obciążenie wyniku, które powstaje, gdy osoby, które nie wzięły udziału w badaniu, różnią się w badanej zmiennej od tych, które odpowiedziały. Groves (2006) podkreśla, że brak odpowiedzi może, ale nie musi prowadzić do obciążenia. Dlatego sam niski wskaźnik odpowiedzi nie przesądza o jakości próby.
Kiedy niski wskaźnik odpowiedzi szkodzi
RR to wskaźnik odpowiedzi, a ȳresp i ȳnieresp – średnie (lub odsetki) wśród respondentów i nierespondentów. Gdy chęć udziału nie wiąże się z badaną zmienną, nawet niski RR daje trafny wynik; gdy się wiąże, szkodzi nawet przy wysokim RR. W metaanalizie 59 badań Groves i Peytcheva (2008) sprawdzali, w jakich warunkach odsetek braku odpowiedzi wiąże się z obciążeniem, a w jakich nie. Mechanizm przypomina braki danych MNAR, tylko dotyczy całych osób.
Przykład
W populacji studentów 30% ma objawy wypalenia. Przy RR = 25% i braku różnicy między respondentami a nierespondentami ankieta pokazuje 30% (obciążenie 0). Przy RR = 70%, ale z odsetkiem 27% wśród respondentów i 37% wśród nierespondentów, wynik jest zaniżony o 3 punkty procentowe. Przy RR = 25% i odsetkach 21% wobec 33% – aż o 9 punktów.
Na rysunku
Wzór z poprzedniej sekcji łatwiej zrozumieć na krzywych. Siłę związku między chęcią udziału a badaną cechą opisuje tu iloraz szans odpowiedzi (OR): szanse, że ankietę wypełni osoba z objawami wypalenia, podzielone przez szanse osoby bez objawów. Rysunek nie korzysta z losowania – krzywe wynikają ze wzoru.
Co widać. Gdy chęć udziału nie zależy od objawów (OR = 1), obciążenia nie ma przy żadnym RR. Gdy osoby z objawami odpowiadają rzadziej, wynik jest zaniżony, i to tym bardziej, im niższy RR: przy OR = 0.6 obciążenie wynosi −7.6 punktu przy RR = 25% i −3.3 punktu przy RR = 70%. O wielkości obciążenia decydują więc oba czynniki naraz. Przykład 1 ma niski RR i zerowe obciążenie. Przykłady 2 i 3 mają podobną siłę związku (OR = 0.63 i 0.54), a różnią się obciążeniem (−3 i −9 punktów), bo różnią się RR.
Na co uważać. W prawdziwym badaniu OR jest nieznany, bo nie znamy odpowiedzi nierespondentów – wykres pokazuje scenariusze, a nie wynik, który można odczytać z danych. Krzywe opisują obciążenie systematyczne; błąd losowy z małej liczby odpowiedzi dochodzi do niego osobno. Model zakłada też, że chęć udziału zależy tylko od badanej cechy. Jak w podobnej sytuacji działa ważenie, pokazuje wpis Próba reprezentatywna w obrazkach, a rozrzut obciążenia w wielu ankietach – hasło wskaźnik odpowiedzi.
Podpis do pracy:
Kod rysuje krzywe i liczy obciążenie dla RR = 25% i 70% oraz OR odpowiadający trzem scenariuszom z przykładu. Wartości OR (1, 0.8, 0.6, 0.4) dobrano ręcznie jako przykładowe. Rysunek na stronie różni się od wyniku kodu tylko motywem serwisu.
Kod R rysunku 1
# Rysunek 1. Obciążenie odsetka osób z objawami wypalenia w funkcji wskaźnika odpowiedzi (RR)
# przy różnej sile związku między chęcią udziału w badaniu a badaną cechą
library(ggplot2)
motyw <- theme_minimal(base_size = 13) +
theme(panel.grid.minor = element_blank(), legend.position = "bottom", plot.title = element_text(face = "bold"))
kol <- c("OR = 1" = "#000000", "OR = 0.8" = "#56B4E9", "OR = 0.6" = "#E69F00", "OR = 0.4" = "#D55E00")
p_pop <- 0.30 # odsetek osób z objawami w populacji (jak w przykładzie hasła)
# OR = iloraz szans odpowiedzi osób z objawami względem osób bez objawów (OR = 1: brak związku)
odsetki_odp <- function(rr, or) { # prawdopodobieństwa odpowiedzi bez objawów (q0) i z objawami (q1) przy łącznym RR
q1_z_q0 <- function(q0) { o <- or * q0 / (1 - q0); o / (1 + o) }
q0 <- uniroot(function(q0) p_pop * q1_z_q0(q0) + (1 - p_pop) * q0 - rr, c(1e-9, 1 - 1e-9), tol = 1e-12)$root
c(q0 = q0, q1 = q1_z_q0(q0))
}
obciazenie_pp <- function(rr, or) { # odsetek wśród respondentów minus odsetek w populacji, w punktach procentowych
if (rr >= 1) return(0)
q <- odsetki_odp(rr, or)
100 * (p_pop * q[["q1"]] / rr - p_pop)
}
siatka <- expand.grid(rr = seq(0.05, 1, by = 0.01), or = c(1, 0.8, 0.6, 0.4))
siatka$obc <- mapply(obciazenie_pp, siatka$rr, siatka$or)
siatka$krzywa <- factor(paste("OR =", siatka$or), levels = names(kol))
# obciążenie przy RR = 25% i 70% dla każdego OR
wybrane <- subset(siatka, round(rr, 2) %in% c(0.25, 0.70))
tab <- round(tapply(wybrane$obc, list(wybrane$krzywa, paste0("RR = ", round(100 * wybrane$rr), "%")), identity), 1)
tab
# Trzy scenariusze z przykładu hasła: RR, odsetek wśród respondentów i nierespondentów
scen <- data.frame(rr = c(0.25, 0.70, 0.25), p_resp = c(0.30, 0.27, 0.21), p_nieresp = c(0.30, 0.37, 0.33))
scen$obc <- 100 * (scen$p_resp - (scen$rr * scen$p_resp + (1 - scen$rr) * scen$p_nieresp))
# jaki OR odpowiada każdemu scenariuszowi: q1, q0 = odsetek odpowiadających wśród osób z objawami i bez nich
q1 <- scen$rr * scen$p_resp / p_pop; q0 <- scen$rr * (1 - scen$p_resp) / (1 - p_pop)
scen$or <- (q1 / (1 - q1)) / (q0 / (1 - q0))
round(scen, 2)
p1 <- ggplot(siatka, aes(rr * 100, obc, colour = krzywa, linetype = krzywa)) +
geom_hline(yintercept = 0, colour = "grey40") +
geom_line(linewidth = 1.1) +
geom_point(data = scen, aes(rr * 100, obc), inherit.aes = FALSE, shape = 21, size = 3.6, stroke = 1.2,
fill = "white", colour = "black") +
annotate("text", x = c(27, 72, 27), y = scen$obc, label = c("przykład 1", "przykład 2", "przykład 3"),
hjust = 0, vjust = c(-0.8, -0.8, 1.6), size = 3.8) +
scale_colour_manual(values = kol, name = "Iloraz szans odpowiedzi (z objawami : bez):") +
scale_linetype_manual(values = c("solid", "longdash", "dashed", "dotted"), name = "Iloraz szans odpowiedzi (z objawami : bez):") +
scale_x_continuous(breaks = seq(0, 100, 20), limits = c(0, 100)) +
labs(title = "Obciążenie odsetka a wskaźnik odpowiedzi",
x = "Wskaźnik odpowiedzi RR (%)", y = "Obciążenie (punkty procentowe)") +
motyw
p1Wynik w R
RR = 25% RR = 70%
OR = 1 0.0 0.0
OR = 0.8 -3.4 -1.4
OR = 0.6 -7.6 -3.3
OR = 0.4 -12.8 -6.0
rr p_resp p_nieresp obc or
1 0.25 0.30 0.30 0 1.00
2 0.70 0.27 0.37 -3 0.63
3 0.25 0.21 0.33 -9 0.54Bibliografia oprogramowania
Wyniki i rysunek pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (pakiety base, stats i ggplot2 4.0.2). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).
- R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
- ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
Jak to sprawdzić
- Porównaj wczesnych i późnych respondentów. Osoby, które odpowiedziały dopiero po przypomnieniu, traktuje się jako przybliżenie nierespondentów; to prosta forma ekstrapolacji opisanej przez Armstronga i Overtona (1977). W symulowanym przykładzie objawy wypalenia miało 26.4% wczesnych (n = 220) i 34.4% późnych (n = 90) respondentów, χ²(1) = 1.66, p = .197 (zob. test dla dwóch proporcji).
- Porównaj próbę z danymi o populacji (płeć, wiek, kierunek) i w razie potrzeby zastosuj ważenie.
Jak opisać w pracy
Na co uważać
Nieistotna różnica między wczesnymi i późnymi respondentami nie dowodzi braku obciążenia – w przykładzie różnica 8.1 punktu procentowego przy małej grupie późnych respondentów okazała się nieistotna. Zgodność próby z populacją w płci i wieku też nie gwarantuje zgodności w badanej zmiennej (zob. reprezentatywność próby). Jak zwiększać udział już przy rekrutacji, piszemy we wpisie Gdzie znaleźć respondentów do ankiety?
Najczęstsze pytania
Czy niski response rate oznacza, że wyniki są obciążone?
Nie zawsze. Obciążenie pojawia się, gdy chęć udziału wiąże się z badaną zmienną. Przy niskim wskaźniku odpowiedzi ryzyko jest jednak większe, bo nawet mała różnica mnoży się przez duży odsetek nierespondentów.
Jak sprawdzić błąd braku odpowiedzi w pracy magisterskiej?
Porównaj osoby odpowiadające przed przypomnieniem i po nim oraz zestaw strukturę próby z danymi o populacji. Opisz wynik ostrożnie: brak różnic nie dowodzi braku obciążenia.
Czym różni się błąd braku odpowiedzi od braków danych?
Błąd braku odpowiedzi dotyczy osób, które w ogóle nie wzięły udziału w badaniu. Braki danych to pominięte pytania u osób, które ankietę wypełniły.
Powiązane hasła
Poradniki, w których użyjesz tego pojęcia
Próba reprezentatywna w obrazkach
Mapa odmów na fikcyjnej uczelni, struktura próby a wynik, 1000 badań przed ważeniem i po nim, raking i koszt wag – pięć rysunków z kodem R.
Czytaj →PoradnikKalkulator przedziału ufności z poprawką na skończoną populację
Odsetek i średnia z populacji o znanej wielkości: przedział bez poprawki i z poprawką FPC, przedział dokładny, odsetek odpowiedzi i potrzebna liczebność.
Czytaj →PoradnikAnkieta wśród personelu jednego szpitala
Populacja czy próba, odsetek odpowiedzi w oddziałach, poprawka na skończoną populację w przedziale ufności, liczebność przy małej kadrze i anonimowość małych oddziałów – z przykładem w R.
Czytaj →PoradnikGdzie znaleźć respondentów do ankiety?
Uczelnia, grupy tematyczne, kula śnieżna, panele i wymiana ankiet – porównanie kanałów, wzór zaproszenia, liczba zaproszeń i opis próby w pracy.
Czytaj →PoradnikRodzaje badań ankietowych
Czas, dobór, kanał i cel badania ankietowego oraz ich konsekwencje dla wniosków – z symulacją autoselekcji w R i wzorem opisu schematu.
Czytaj →PoradnikCałkowity błąd badania sondażowego (TSE)
Pokrycie, brak odpowiedzi, pomiar i ważenie w jednym rachunku MSE: symulacja czterech planów za ten sam budżet i opis ograniczeń.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Wyceń analizęOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- Armstrong, J. S., & Overton, T. S. (1977). Estimating nonresponse bias in mail surveys. Journal of Marketing Research, 14(3), 396–402. https://doi.org/10.1177/002224377701400320
- Groves, R. M. (2006). Nonresponse rates and nonresponse bias in household surveys. Public Opinion Quarterly, 70(5), 646–675. https://doi.org/10.1093/poq/nfl033
- Groves, R. M., & Peytcheva, E. (2008). The impact of nonresponse rates on nonresponse bias: A meta-analysis. Public Opinion Quarterly, 72(2), 167–189. https://doi.org/10.1093/poq/nfn011 ● Otwarty dostęp: pełny tekst
Cytowania BibTeX
@article{armstrong1977estimating, author={Armstrong, J. Scott and Overton, Terry S.}, title={{Estimating nonresponse bias in mail surveys}}, journal={Journal of Marketing Research}, year={1977}, volume={14}, number={3}, pages={396--402}, doi={10.1177/002224377701400320}}@article{groves2006nonresponse, author={Groves, Robert M.}, title={{Nonresponse rates and nonresponse bias in household surveys}}, journal={Public Opinion Quarterly}, year={2006}, volume={70}, number={5}, pages={646--675}, doi={10.1093/poq/nfl033}}@article{groves2008impact, author={Groves, R. M. and Peytcheva, E.}, title={{The impact of nonresponse rates on nonresponse bias: A meta-analysis}}, journal={Public Opinion Quarterly}, year={2008}, volume={72}, number={2}, pages={167--189}, doi={10.1093/poq/nfn011}}