Słownik metodologiczny · Dobór próby

Błąd braku odpowiedzi (non-response bias) – kiedy niski response rate szkodzi?

Niski odsetek odpowiedzi budzi niepokój, ale o jakości próby decyduje to, czy osoby milczące różnią się od respondentów. Pokazujemy wzór na obciążenie, przykład i sposoby sprawdzenia.

Strona główna / Słownik / Błąd braku odpowiedzi

Opracowanie merytoryczne: · Opublikowano:

W skrócie: Błąd braku odpowiedzi powstaje, gdy osoby, które nie wzięły udziału w badaniu, różnią się w badanej zmiennej od respondentów. Obciążenie zależy od wskaźnika odpowiedzi i od tej różnicy, więc niski response rate nie zawsze szkodzi, a wysoki nie zawsze chroni.

Co to jest błąd braku odpowiedzi?

Błąd braku odpowiedzi (ang. non-response bias) to obciążenie wyniku, które powstaje, gdy osoby, które nie wzięły udziału w badaniu, różnią się w badanej zmiennej od tych, które odpowiedziały. Groves (2006) podkreśla, że brak odpowiedzi może, ale nie musi prowadzić do obciążenia. Dlatego sam niski wskaźnik odpowiedzi nie przesądza o jakości próby.

Kiedy niski wskaźnik odpowiedzi szkodzi

obciążenie ≈ (1 − RR) × (ȳresp − ȳnieresp)

RR to wskaźnik odpowiedzi, a ȳresp i ȳnieresp – średnie (lub odsetki) wśród respondentów i nierespondentów. Gdy chęć udziału nie wiąże się z badaną zmienną, nawet niski RR daje trafny wynik; gdy się wiąże, szkodzi nawet przy wysokim RR. W metaanalizie 59 badań Groves i Peytcheva (2008) sprawdzali, w jakich warunkach odsetek braku odpowiedzi wiąże się z obciążeniem, a w jakich nie. Mechanizm przypomina braki danych MNAR, tylko dotyczy całych osób.

Przykład

W populacji studentów 30% ma objawy wypalenia. Przy RR = 25% i braku różnicy między respondentami a nierespondentami ankieta pokazuje 30% (obciążenie 0). Przy RR = 70%, ale z odsetkiem 27% wśród respondentów i 37% wśród nierespondentów, wynik jest zaniżony o 3 punkty procentowe. Przy RR = 25% i odsetkach 21% wobec 33% – aż o 9 punktów.

Jak to sprawdzić

  • Porównaj wczesnych i późnych respondentów. Osoby, które odpowiedziały dopiero po przypomnieniu, traktuje się jako przybliżenie nierespondentów; to prosta forma ekstrapolacji opisanej przez Armstronga i Overtona (1977). W symulowanym przykładzie objawy wypalenia miało 26.4% wczesnych (n = 220) i 34.4% późnych (n = 90) respondentów, χ²(1) = 1.66, p = .197 (zob. test dla dwóch proporcji).
  • Porównaj próbę z danymi o populacji (płeć, wiek, kierunek) i w razie potrzeby zastosuj ważenie.

Jak opisać w pracy

Aby ocenić ryzyko błędu braku odpowiedzi, porównano osoby, które odpowiedziały przed przypomnieniem (n = 220), z osobami, które odpowiedziały dopiero po nim (n = 90). Odsetek osób z objawami wypalenia wynosił odpowiednio 26.4% i 34.4%, χ²(1) = 1.66, p = .197.

Na co uważać

Nieistotna różnica między wczesnymi i późnymi respondentami nie dowodzi braku obciążenia – w przykładzie różnica 8.1 punktu procentowego przy małej grupie późnych respondentów okazała się nieistotna. Zgodność próby z populacją w płci i wieku też nie gwarantuje zgodności w badanej zmiennej (zob. reprezentatywność próby). Jak zwiększać udział już przy rekrutacji, piszemy we wpisie Gdzie znaleźć respondentów do ankiety?

Najczęstsze pytania

Czy niski response rate oznacza, że wyniki są obciążone?

Nie zawsze. Obciążenie pojawia się, gdy chęć udziału wiąże się z badaną zmienną. Przy niskim wskaźniku odpowiedzi ryzyko jest jednak większe, bo nawet mała różnica mnoży się przez duży odsetek nierespondentów.

Jak sprawdzić błąd braku odpowiedzi w pracy magisterskiej?

Porównaj osoby odpowiadające przed przypomnieniem i po nim oraz zestaw strukturę próby z danymi o populacji. Opisz wynik ostrożnie: brak różnic nie dowodzi braku obciążenia.

Czym różni się błąd braku odpowiedzi od braków danych?

Błąd braku odpowiedzi dotyczy osób, które w ogóle nie wzięły udziału w badaniu. Braki danych to pominięte pytania u osób, które ankietę wypełniły.

Powiązane hasła

Wskaźnik odpowiedzi (response rate)Ważenie danych (wagi poststratyfikacyjne)Reprezentatywność próbyBraki danych (MCAR, MAR, MNAR)Test dla dwóch proporcji

Poradniki, w których użyjesz tego pojęcia

Poradnik

Gdzie znaleźć respondentów do ankiety?

Uczelnia, grupy tematyczne, kula śnieżna, panele i wymiana ankiet – porównanie kanałów, wzór zaproszenia, liczba zaproszeń i opis próby w pracy.

Czytaj →Poradnik

Rodzaje badań ankietowych — czym się różnią i kiedy je stosować?

Praktyczny podział według czasu, sposobu rekrutacji, kanału zbierania danych i celu wnioskowania, wraz z konsekwencjami dla analizy.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Armstrong, J. S., & Overton, T. S. (1977). Estimating nonresponse bias in mail surveys. Journal of Marketing Research, 14(3), 396–402. https://doi.org/10.1177/002224377701400320
  2. Groves, R. M. (2006). Nonresponse rates and nonresponse bias in household surveys. Public Opinion Quarterly, 70(5), 646–675. https://doi.org/10.1093/poq/nfl033
  3. Groves, R. M., & Peytcheva, E. (2008). The impact of nonresponse rates on nonresponse bias: A meta-analysis. Public Opinion Quarterly, 72(2), 167–189. https://doi.org/10.1093/poq/nfn011 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@article{armstrong1977estimating, author={Armstrong, J. Scott and Overton, Terry S.}, title={{Estimating nonresponse bias in mail surveys}}, journal={Journal of Marketing Research}, year={1977}, volume={14}, number={3}, pages={396--402}, doi={10.1177/002224377701400320}}
@article{groves2006nonresponse, author={Groves, Robert M.}, title={{Nonresponse rates and nonresponse bias in household surveys}}, journal={Public Opinion Quarterly}, year={2006}, volume={70}, number={5}, pages={646--675}, doi={10.1093/poq/nfl033}}
@article{groves2008impact, author={Groves, R. M. and Peytcheva, E.}, title={{The impact of nonresponse rates on nonresponse bias: A meta-analysis}}, journal={Public Opinion Quarterly}, year={2008}, volume={72}, number={2}, pages={167--189}, doi={10.1093/poq/nfn011}}
R