Skąd te wnioski: audyty ankiet i badania metodologiczne
Ankieta, którą piszesz, wydaje Ci się jasna – znasz temat, hipotezy i intencję każdego pytania. Respondent nie zna żadnej z tych rzeczy. Czyta pytanie raz, często na telefonie, i odpowiada tak, jak je zrozumiał. Błędu w pytaniu nie da się potem naprawić w analizie: dane są takie, jakie pozwoliło zebrać narzędzie.
Przykłady w tym artykule pochodzą z audytów ankiet, które wykonujemy. W każdym audycie sprawdzamy treść pytań, kafeterie i skale, kontrolę jakości danych, obciążenie respondenta, spójność pomiaru, przebieg ankiety, działanie na telefonie, etykę i RODO oraz gotowość danych do analizy. Audyt łączy reguły automatyczne, panel ekspertów AI i przebiegi testowe na komputerze i telefonie (w pełnym trybie także syntetycznych respondentów). To ekspertyza wstępna, która nie zastępuje pilotażu z ludźmi – choćby dlatego, że syntetyczni respondenci odpowiadają spójniej niż ludzie. Dwa przykładowe raporty są publicznie dostępne na stronie AI audyt ankiety:
- kwestionariusz z pliku Word o aktywności fizycznej i samopoczuciu studentów – 10 pytań, 29 uwag (0 krytycznych, 13 ważnych, 16 drobnych), indeks jakości 80/100;
- działająca ankieta internetowa z ocenami krótkich materiałów wideo, sprawdzona razem z planem badania – 20 pytań widocznych w przejściach, 210 pozycji razem z wierszami macierzy, szacowany czas ok. 16.8 minuty, 53 uwagi (4 krytyczne), indeks jakości 48/100.
Przykłady opisujemy w uproszczeniu i bez danych pozwalających zidentyfikować autorów. Uzupełniamy je wynikami badań metodologicznych. Choi i Pak (2005) zebrali na podstawie przeglądu literatury 48 rodzajów błędów w kwestionariuszach, pogrupowanych według źródła: konstrukcji pytania, konstrukcji całego kwestionariusza i sposobu realizacji badania – i zaproponowali je jako listę kontrolną przed uruchomieniem badania. Na końcu artykułu znajdziesz krótszą wersję takiej listy.
Cztery zadania respondenta – i gdzie ankieta je utrudnia
Wytyczne GESIS porządkują zasady formułowania pytań według czterech zadań, które wykonuje respondent: musi zrozumieć pytanie, przywołać informacje, wydać sąd i dopasować odpowiedź do formatu (Lenzner i Menold, 2016). Prawie każdy błąd z audytów utrudnia jedno z tych zadań.
| Zadanie respondenta | Co je utrudnia | Przykład z audytów |
|---|---|---|
| Zrozumieć pytanie | Dwa pytania w jednym, nieostre słowa, przeczenia, żargon | „Jak często […] czułeś(-aś) się zmęczony(-a) lub miałeś(-aś) mało energii?” |
| Przywołać informacje | Zbyt długi lub nieokreślony okres, liczenie zdarzeń | Liczba dni z aktywnością fizyczną w ostatnim tygodniu – oznaczona jako wymagająca dokładnego przypominania i liczenia |
| Wydać sąd | Sugestia „właściwej” odpowiedzi, presja aprobaty, ukryte założenia | Pytanie o aktywność fizyczną, w którym odpowiedź „tak” jest wyraźnie lepiej widziana |
| Dopasować odpowiedź do formatu | Brak pasującej kategorii, nakładające się przedziały, pole bez formatu | „Rok urodzenia:” bez wskazówki, czy wpisać rok, czy wiek; „Rok studiów: I / II / III / IV / V / studia doktoranckie” |
Błędy w treści pytań
Dwa pytania w jednym
Ten błąd pojawił się w obu audytowanych ankietach. W kwestionariuszu o samopoczuciu pytanie łączyło zmęczenie i brak energii – a można być zmęczonym i mieć energię albo odwrotnie. W ankiecie internetowej twierdzenia w tabeli brzmiały m.in. „Treść filmu jest prosta i łatwa do zapamiętania” (prostota to nie to samo co zapamiętywalność). To nie jest kwestia stylu. Menold (2020) w dwóch eksperymentach pokazała, że pytania dwuczłonowe (ang. double-barreled) dawały inne średnie i parametry modeli niż wersje z jednym bodźcem, nie zachowywały niezmienniczości pomiaru, a respondenci mogli odnosić się tylko do jednego z członów, co obniżało trafność. Jeśli w pytaniu widzisz „i” albo „lub” między dwiema treściami, rozdziel je na dwa pytania.
Nieostre określenia
„Często”, „regularnie”, „ostatnio”, „mało” – każdy rozumie te słowa inaczej. W audycie kwestionariusza zastrzeżenia budziło słowo „mało” (mało energii) i próg „łącznie co najmniej 30 minut dziennie”, przy którym nie wiadomo, czy chodzi o każdy dzień, czy o sumę z tygodnia. Schaeffer (1991) wykazała, że znaczenie nieprecyzyjnych określeń częstości różni się między grupami (np. wiekowymi czy o różnym wykształceniu), więc wnioski z porównań grupowych mogą zależeć od tego, czy analizuje się częstości względne, czy bezwzględne. Jeśli porównujesz grupy, pytaj o liczby: dni, razy, godziny.
Okres odniesienia i trudne przypominanie
Pytanie o zachowanie bez okresu odniesienia („Jak często uczysz się w nocy?”) każdy uzupełnia po swojemu. Z kolei zbyt długi okres („w ostatnim roku”) wymaga pamięci, której nikt nie ma. Schwarz (1999) pokazuje, że samoopisy zachowań silnie zależą od sformułowania pytania, formatu odpowiedzi i kontekstu, i omawia procesy poznawcze, od których zależy raportowanie częstości zachowań. Dopasuj okres do częstości zachowania: o codzienne czynności pytaj o ostatni tydzień albo „typowy tydzień”, o rzadkie zdarzenia – o dłuższy okres. Gdy dokładne liczenie jest trudne, zaproponuj przedziały.
Pytania sugerujące
Sformułowania typu „Czy zgadzasz się, że…”, wartościujące przymiotniki („szkodliwe”, „wspaniałe”) albo powoływanie się na autorytet („Większość psychologów uważa…”) podsuwają „właściwą” odpowiedź. Zadaj pytanie neutralnie i daj zrównoważoną skalę z biegunem negatywnym i pozytywnym.
Ukryte założenia i pytania hipotetyczne
„Dlaczego przestałeś(-aś) uprawiać sport?” zakłada, że ktoś kiedyś uprawiał sport i przestał. Osoba, której to nie dotyczy, nie ma jak odpowiedzieć. Rozwiązaniem jest pytanie filtrujące. Ostrożnie traktuj też pytania o zachowanie w wyobrażonej sytuacji („Co byś zrobił(a), gdyby…”) – deklaracje mogą słabo odpowiadać temu, co ludzie robią naprawdę.
Przeczenia
Twierdzenie z przeczeniem na skali zgody („Nie uważam, że nie warto prosić o pomoc”) zmusza do podwójnej negacji – trudno wtedy ustalić, co właściwie oznacza odpowiedź „nie zgadzam się”. Jeśli potrzebujesz pozycji odwróconych do wykrywania potakiwania, formułuj je jako twierdzenia o przeciwnym biegunie („Proszenie o pomoc to oznaka słabości”), a nie przez dopisanie „nie”.
Błędy w kafeteriach i skalach odpowiedzi
Lista odpowiedzi to część pytania. Zasady jej budowy opisujemy w haśle kafeteria odpowiedzi; w audytach powtarzało się kilka usterek:
- Niepełna lista – „Rok studiów: I / II / III / IV / V / studia doktoranckie” nie obejmuje części ścieżek studiowania; „Status związku: w związku / singiel” i „Płeć biologiczna: kobieta / mężczyzna” nie dają możliwości odmowy. Pytania demograficzne opisujemy w haśle metryczka.
- Nakładające się przedziały – „18–25” i „25–35” sprawiają, że 25-latek nie wie, co zaznaczyć.
- Brak „nie wiem”, „nie dotyczy” i „wolę nie odpowiadać” – w kwestionariuszu o aktywności fizycznej należał do najczęstszych uwag. Lietz (2010) zestawia oparte na dowodach rekomendacje m.in. dotyczące opcji „nie wiem” i kategorii środkowej. Pamiętaj, że „nie wiem” bywa też drogą na skróty: Krosnick (1991) wymienia ją wśród przejawów satysfakcjonowania (satisficing), obok wyboru pierwszej sensownej opcji i niezróżnicowanych odpowiedzi.
- Skala „zgadzam się – nie zgadzam się” zamiast skali specyficznej – w badaniu łączącym losowy przydział z podejściem wielocechowo-wielometodowym odpowiedzi na pytania w formacie zgody miały znacznie niższą jakość niż odpowiedzi na pytania z kategoriami dopasowanymi do treści (Saris i in., 2010). Zamiast „Często czuję się zmęczony(-a): zgadzam się…” zapytaj „Jak często…?” i podaj kategorie częstości. Wyjątek: standaryzowany kwestionariusz – jego formatu nie zmieniasz.
- Etykiety niepasujące do pytania – na pytanie „Jak szczere były Twoje odpowiedzi?” kafeteria proponowała „niski / umiarkowany / wysoki”.
- Ranking zamiast oceny – polecenie „uszereguj cztery powody od najważniejszego” wymusza arbitralny wybór, gdy dwa powody są równie ważne. Często lepsza jest osobna ocena każdego powodu.
- Skala, która nie różnicuje – jeśli prawie wszyscy zaznaczą najwyższą wartość, pojawi się efekt sufitu. Sprawdź rozkład odpowiedzi w pilotażu.
Ile punktów powinna mieć skala Likerta, piszemy we wpisie ile stopni skali Likerta wybrać.
Ankieta nie mierzy tego, czego potrzebują hipotezy
Ten błąd widać dopiero wtedy, gdy zestawi się ankietę z planem badania. W audycie ankiety internetowej plan zawierał siedem celów, pytań badawczych i hipotez. Żadne z nich nie miało w ankiecie pełnego pokrycia, sześć – częściowe, a dla jednej hipotezy nie było ani jednego pytania mierzącego potrzebną zmienną grupującą. Kilka hipotez opierało się na pojedynczych twierdzeniach (np. „humor” mierzony jednym wierszem tabeli), a dwa pytania metryczkowe nie służyły żadnemu celowi.
W kwestionariuszu o aktywności fizycznej problemem była z kolei bateria pięciu twierdzeń, które mieszały przyjemność z ruchu, samopoczucie po ćwiczeniach, ocenę wartości ruchu, brak czasu i motywację zdrowotną. Zsumowanie ich w jeden wynik „postawy wobec aktywności” nie ma uzasadnienia bez sprawdzenia struktury – sama alfa Cronbacha tego nie rozstrzygnie (zob. analiza ankiety do pracy dyplomowej).
Zanim wyślesz link, przygotuj tabelę: hipoteza → zmienna → pytanie lub skala → poziom pomiaru → planowana analiza. Każda zmienna z hipotez musi mieć swoje pytania, a każde pytanie – swój cel. Zbieranie danych, których nie użyjesz, wydłuża ankietę i jest sprzeczne z zasadą minimalizacji danych. Jak zbudować taką tabelę, pokazujemy we wpisie co to jest operacjonalizacja.
Wielkie macierze, długa ankieta i jednakowe odpowiedzi
Najpoważniejszy problem obciążenia w audytach: w ankiecie internetowej ta sama tabela 20 twierdzeń z czterostopniową skalą zgody powtarzała się po każdym z dziesięciu materiałów – razem 200 ocen na jednej stronie. Audyt oznaczył to jako dwa błędy krytyczne: zbyt dużą macierz i powtarzalność prowadzącą do znużenia.
Badania potwierdzają, że długość kosztuje. Im dłuższy zapowiadany czas ankiety (10, 20 lub 30 minut), tym mniej osób ją rozpoczynało i kończyło, a odpowiedzi na pytania umieszczone dalej były szybsze, krótsze w pytaniach otwartych i bardziej jednolite w tabelach (Galesic i Bosnjak, 2009). Taki wzór pasuje do opisanego przez Krosnicka (1991) satysfakcjonowania: gdy rzetelna odpowiedź wymaga dużego wysiłku, część osób przestaje różnicować oceny i zaznacza w kolumnie to samo – zjawisko to nazywamy straightliningiem. Konstrukcja tabeli ma przy tym znaczenie: w eksperymentach Couper i in. (2013) dynamiczne podpowiedzi prowadzące respondenta przez tabelę zmniejszały braki danych, a podział dużej tabeli na osobne pytania dodatkowo ograniczał braki i motywowane zaniżanie odpowiedzi.
Co zrobić:
- dziel macierze na bloki po kilka wierszy (w audycie zalecaliśmy do ok. 6–8) na osobnych stronach;
- gdy materiałów do oceny jest wiele, losuj dla każdej osoby ich podzbiór, zamiast pokazywać wszystkie;
- usuń pytania, których nie użyjesz w analizie, i zmierz czas wypełniania w pilotażu;
- w dłuższej ankiecie dodaj jedno–dwa pytania kontrolne i zaplanuj sprawdzenie nieuważnych odpowiedzi po badaniu – w ankiecie internetowej z audytu nie było ani pytania sprawdzającego uwagę, ani pozycji odwróconych.
Jak wykrywać i usuwać nieuważne odpowiedzi w danych, opisujemy we wpisie nieuważne odpowiedzi w ankietach online.
Ankieta, której nie da się wygodnie wypełnić na telefonie
Sam telefon nie jest wrogiem jakości. W randomizowanym eksperymencie naprzemiennym osoby odpowiadające na smartfonie częściej robiły coś innego w tym samym czasie i częściej przebywały wśród innych osób, ale odpowiadały co najmniej równie starannie i równie często ujawniały informacje drażliwe jak na komputerze; problemem była głównie obsługa małych suwaków i selektorów daty (Antoun i in., 2017). Liczy się więc układ ankiety. W eksperymencie porównującym tabele i formaty „pytanie po pytaniu” na komputerach i smartfonach najwyraźniejszą różnicą okazało się to, że stale widoczny przycisk „dalej” w formacie „pytanie po pytaniu” na smartfonie znacząco zwiększał braki odpowiedzi (Revilla i Couper, 2018).
W przebiegu testowym ankiety internetowej na telefonie 16 pól odpowiedzi miało obszar dotyku mniejszy niż 24 × 24 piksele – minimum z wytycznych dostępności WCAG 2.2 – a automatyczny test dostępności wskazał m.in. przyciski bez nazwy i zbyt słaby kontrast tekstu. Część takich usterek pochodzi z szablonu platformy, a nie z pytań. Przed startem wypełnij ankietę od początku do końca na własnym telefonie, unikaj suwaków i szerokich tabel, a jeśli platforma pozwala, wybierz szablon przystosowany do urządzeń mobilnych.
Pytania drażliwe i aprobata społeczna
W pytaniach drażliwych respondenci zaniżają raportowanie zachowań niepożądanych społecznie i zawyżają zachowania pożądane, a skala tego zniekształcenia zależy od cech osoby, konstrukcji badania i sytuacji badania (Krumpal, 2013). Dotyczy to nie tylko pytań o używki czy seksualność. W audycie kwestionariusza pytanie o to, czy respondent był aktywny fizycznie w ostatnim tygodniu, oznaczono jako obciążone presją aprobaty społecznej – „tak” jest lepiej widziane. Podobnie działają pytania kończące ankietę o własną motywację i szczerość.
Co pomaga: rzeczywista anonimowość (nie zbieraj adresów e-mail w tym samym formularzu co odpowiedzi), zdanie normalizujące we wstępie pytania („Ludzie mają bardzo różne nawyki…”), opcja „wolę nie odpowiadać” i umieszczenie pytań drażliwych bliżej końca, po zbudowaniu zaufania.
Wymuszanie odpowiedzi, brak filtrów i niejasne instrukcje
- Wszystko obowiązkowe. W ankiecie internetowej z audytu obowiązkowe było 18 z 20 widocznych pytań (90%), w tym pola tekstowe na wiek i czas korzystania z mediów. Osoba, która nie chce albo nie może odpowiedzieć, ma wtedy dwa wyjścia: przerwać ankietę albo zaznaczyć cokolwiek. Obowiązkowe rób pytania kwalifikujące i kluczowe dla hipotez, a przy pozostałych daj możliwość odmowy.
- Brak filtrów i „nie dotyczy”. Pytanie o ocenę promotora zadane studentom pierwszego roku albo o pracę – osobom, które nie pracują, wymusza odpowiedź bez treści. Pytanie filtrujące rozwiązuje to lepiej niż dodatkowa opcja.
- Niejasne instrukcje. „Rok urodzenia:” bez formatu (rok czy wiek?), pytanie wielokrotnego wyboru bez dopisku „zaznacz wszystkie pasujące”, tabela poprzedzona zdaniem „Liczy się Twoja wyjątkowa opinia” zamiast informacji, co zrobić („Obejrzyj materiał, a następnie zaznacz jedną odpowiedź w każdym wierszu”).
- Nieuczciwy czas. Kwestionariusz o aktywności zapowiadał we wstępie ok. 8 minut, a jego szacowany czas wynosił ok. 2 minuty – audyt uznał tę rozbieżność za mylącą. Podawaj czas zmierzony w pilotażu.
- Niespójna terminologia. „Materiał”, „film” i „wideo” w jednej tabeli albo „aktywność fizyczna” i „ruch” na zmianę – respondent może uznać, że chodzi o różne rzeczy.
Eksperyment w ankiecie: kto przydziela warunek?
Najpoważniejszy błąd metodologiczny w audytach: w ankiecie internetowej pierwsze pytanie brzmiało „Wybierz jedną z poniższych odpowiedzi. Jeśli nie wiesz, jaką wybrać, to strzelaj”, a pięć odpowiedzi było identycznych. W ten sposób respondent sam przydzielał się do warunku badania. Taki przydział nie jest losowy – ludzie mogą częściej wybierać np. pierwszą lub środkową opcję – więc grupy mogą różnić się systematycznie, a porównania warunków tracą podstawę. Warunek manipulacji eksperymentalnej musi losować platforma (w LimeSurvey np. losowa grupa pytań albo równanie z funkcją rand(), w Qualtrics – element Randomizer z równym przydziałem).
Drugą pułapką są porzucenia. W eksperymentach prowadzonych na platformie MTurk odsetek porzuceń wynosił 30–50% i różnił się systematycznie między warunkami, co łamało losowy przydział i prowadziło do fałszywych wniosków (Zhou i Fishbach, 2016). Planuj warunki o podobnym obciążeniu, monitoruj, ile osób rozpoczęło i ukończyło badanie w każdym warunku, i raportuj te liczby – inaczej zagrożona jest trafność wewnętrzna badania.
Wstęp bez informacji o badaniu i zgodzie
Różnicę między ankietami najlepiej widać w części etycznej. Kwestionariusz o aktywności fizycznej miał kompletny wstęp: cel, prowadzącą instytucję, kontakt, dobrowolność, anonimowość, administratora danych, prawo do przerwania udziału, sposób wyrażenia zgody i grupę docelową – audyt ocenił ten wymiar na 98/100. Ankiecie internetowej brakowało informacji o tym, kto prowadzi badanie, kontaktu, informacji o dobrowolności i możliwości rezygnacji, klauzuli RODO oraz wyraźnej zgody – ten wymiar oceniono na 27/100. Co powinien zawierać wstęp, opisujemy w haśle świadoma zgoda i RODO w badaniach.
Źle → dobrze: przeredagowane pytania
Tabela zbiera typowe błędy w wersji „przed” i „po”. Przykłady są uogólnione – podobne pytania spotykamy w ankietach do prac licencjackich i magisterskich.
| Błąd | Źle | Dobrze |
|---|---|---|
| Dwa pytania w jednym | „Czy wykładowcy na Twoim kierunku są kompetentni i życzliwi?” | Dwa pytania: „Jak oceniasz kompetencje wykładowców…?” oraz „Jak oceniasz życzliwość wykładowców…?” |
| Nieostre określenie | „Czy często korzystasz z pomocy psychologicznej?” | „Ile razy w ciągu ostatnich 12 miesięcy byłeś(-aś) na konsultacji u psychologa lub psychoterapeuty? 0 / 1–2 / 3–5 / 6–10 / 11 lub więcej / wolę nie odpowiadać” |
| Pytanie sugerujące | „Czy zgadzasz się, że media społecznościowe szkodzą zdrowiu psychicznemu młodzieży?” | „Jak oceniasz wpływ mediów społecznościowych na samopoczucie osób w Twoim wieku? zdecydowanie negatywny / raczej negatywny / ani negatywny, ani pozytywny / raczej pozytywny / zdecydowanie pozytywny” |
| Ukryte założenie | „Dlaczego przestałeś(-aś) uprawiać sport?” | Filtr „Czy kiedykolwiek regularnie uprawiałeś(-aś) sport?” → „Czy uprawiasz go nadal?” → dopiero osobom, które przestały: „Co sprawiło, że przestałeś(-aś)?” |
| Podwójne przeczenie | „Nie uważam, że nie warto prosić innych o pomoc.” | „Warto prosić innych o pomoc.” (jako pozycja odwrócona: „Proszenie o pomoc to oznaka słabości.”) |
| Za trudne przypominanie | „Ile godzin w ostatnim miesiącu poświęciłeś(-aś) na naukę?” | „Ile godzin w typowym tygodniu tego semestru uczysz się poza zajęciami? mniej niż 5 / 5–9 / 10–14 / 15–19 / 20 lub więcej” |
| Nakładające się przedziały | „Dochód na osobę w gospodarstwie domowym: do 2000 zł / 2000–4000 zł / 4000–6000 zł” | „do 2000 zł / 2001–4000 zł / 4001–6000 zł / powyżej 6000 zł / wolę nie odpowiadać” |
| Niepełna kafeteria | „Płeć: kobieta / mężczyzna” | „kobieta / mężczyzna / inna / wolę nie odpowiadać” – zgodnie z celem badania |
| Skala zgody zamiast skali specyficznej | „Często czuję się samotny(-a): zdecydowanie się nie zgadzam … zdecydowanie się zgadzam” | „Jak często w ciągu ostatnich 2 tygodni czułeś(-aś) się samotny(-a)? wcale / kilka dni / więcej niż połowę dni / prawie codziennie” |
| Liczba w polu tekstowym | „Ile czasu spędzasz w mediach społecznościowych?” (pole tekstowe) | „Ile minut spędziłeś(-aś) wczoraj w mediach społecznościowych? Jeśli możesz, sprawdź czas przed ekranem w ustawieniach telefonu.” – pole liczbowe 0–1440 |
| Brak formatu | „Rok urodzenia:” | „W którym roku się urodziłeś(-aś)? Wpisz cztery cyfry, np. 2003.” – z walidacją zakresu |
| Brak instrukcji wyboru | „Z jakich aplikacji do nauki korzystasz?” | „…? Zaznacz wszystkie, z których korzystałeś(-aś) w tym semestrze.” + opcja „z żadnej” |
| Ranking zamiast oceny | „Uszereguj cztery powody podejmowania aktywności od najważniejszego do najmniej ważnego.” | „Jak ważny jest dla Ciebie każdy z powodów?” – osobna ocena każdego powodu od „wcale nieważny” do „bardzo ważny” |
| Etykiety niepasujące do pytania | „Jak szczere były Twoje odpowiedzi? niski / umiarkowany / wysoki” | „Czy możemy wykorzystać Twoje odpowiedzi w analizie? tak, odpowiadałem(-am) uważnie / nie, odpowiadałem(-am) bez zastanowienia” |
| Brak „nie dotyczy” | „Jak oceniasz współpracę z promotorem?” – zadane także studentom pierwszego roku | Filtr „Czy masz już promotora?” albo opcja „nie dotyczy – nie mam jeszcze promotora” |
| Samoprzydział do warunku | „Wybierz jedną z poniższych odpowiedzi. Jeśli nie wiesz, jaką wybrać, to strzelaj.” – pięć identycznych opcji | Usuń pytanie – warunek losuje platforma ankietowa |
Lista kontrolna przed wysłaniem linku
- Cele: każda zmienna z hipotez ma swoje pytania lub skalę; każde pytanie ma cel; konstrukty z hipotez mierzysz sprawdzonymi skalami, a nie pojedynczym pytaniem.
- Treść: jedno pytanie – jedna treść; bez nieostrych określeń tam, gdzie da się podać liczbę; okres odniesienia przy pytaniach o zachowania; bez sugestii, ukrytych założeń i podwójnych przeczeń.
- Kafeterie: kategorie rozłączne i wyczerpujące; „inne (jakie?)”, „nie dotyczy” i „wolę nie odpowiadać” tam, gdzie są potrzebne; skale zrównoważone i dopasowane do pytania; ten sam kierunek skal w całej ankiecie.
- Obciążenie: czas zmierzony w pilotażu i uczciwie podany we wstępie; macierze podzielone na krótkie bloki; tylko pytania kluczowe są obowiązkowe; pytania otwarte nieobowiązkowe.
- Przebieg: pytania kwalifikujące na początku; filtry i przejścia sprawdzone na kilku ścieżkach; metryczka i pytania drażliwe bliżej końca; podziękowanie na końcu.
- Jakość danych: w dłuższej ankiecie pytanie kontrolne i pozycje odwrócone; zaplanowane kryteria wykluczeń (czas, jednakowe odpowiedzi).
- Eksperyment: warunki losuje platforma; zapisujesz, kto rozpoczął i ukończył badanie w każdym warunku.
- Technika: ankieta wypełniona na telefonie i komputerze; pola liczbowe z walidacją; bez suwaków i szerokich tabel; eksport testowych odpowiedzi otwiera się w programie do analizy (zob. dane z Google Forms i LimeSurvey w SPSS i R).
- Etyka: kto prowadzi badanie, cel, czas, dobrowolność, anonimowość, administrator danych, kontakt, prawo do przerwania udziału, wyraźna zgoda, grupa docelowa.
- Pilotaż: kilka osób z grupy docelowej wypełnia ankietę i mówi, jak rozumie pytania – badanie pilotażowe i wywiad poznawczy wyłapują problemy, których nie widzi autor. Ile osób zaprosić i co sprawdzić, opisujemy we wpisie badanie pilotażowe: po co, ile osób, co sprawdzić.
Całą drogę od pomysłu do gotowego kwestionariusza ankiety opisuje poradnik jak zrobić ankietę do pracy dyplomowej, a o formatach pytań przeczytasz w haśle pytanie otwarte i zamknięte. Gdy ankieta jest gotowa, czas na rekrutację – zobacz, gdzie znaleźć respondentów do ankiety i jak nazwać zastosowany dobór próby (np. dobór wygodny lub metoda kuli śnieżnej).
Najczęstsze pytania
Jakie są najczęstsze błędy w ankietach?
W audytach powtarzają się: pytania o dwie rzeczy naraz, nieostre określenia („często”, „mało”), niepełne lub nakładające się kategorie odpowiedzi, brak opcji „nie dotyczy” i „wolę nie odpowiadać”, zbyt duże macierze, pola liczbowe bez walidacji oraz braki w informacji o badaniu i zgodzie. Większość z nich da się wyłapać przed startem w pilotażu.
Co to jest pytanie sugerujące?
To pytanie, które podpowiada „właściwą” odpowiedź – np. „Czy zgadzasz się, że media społecznościowe szkodzą młodzieży?” albo pytanie z wartościującym przymiotnikiem. Zadaj je neutralnie: „Jak oceniasz wpływ mediów społecznościowych na samopoczucie osób w Twoim wieku?” ze zrównoważoną skalą od oceny negatywnej do pozytywnej.
Co to jest pytanie dwuczłonowe (double-barreled)?
To pytanie o dwie rzeczy naraz, np. „Czy wykładowcy są kompetentni i życzliwi?”. Respondent, który ocenia te cechy różnie, nie ma jak odpowiedzieć. Rozdziel je na dwa pytania – Menold (2020) pokazała, że takie pytania pogarszają jakość pomiaru i trafność.
Jak długa powinna być ankieta do pracy licencjackiej?
Tak krótka, jak pozwalają hipotezy. Im dłuższy zapowiadany czas, tym mniej osób zaczyna i kończy ankietę, a odpowiedzi pod koniec są szybsze i bardziej jednolite (Galesic i Bosnjak, 2009). Zmierz czas w pilotażu, podaj go uczciwie we wstępie i usuń pytania, których nie użyjesz w analizie.
Czy wszystkie pytania w ankiecie powinny być obowiązkowe?
Nie. Obowiązkowe mogą być pytania kwalifikujące i kluczowe dla hipotez, ale przy pytaniach drażliwych i tych, które nie dotyczą wszystkich, daj możliwość odmowy („wolę nie odpowiadać”, „nie dotyczy”). Inaczej część osób przerwie ankietę albo zaznaczy cokolwiek.
Jak sprawdzić ankietę przed wysłaniem do respondentów?
Zestaw hipotezy z pytaniami, przejdź listę kontrolną z tego artykułu, wypełnij ankietę na komputerze i telefonie, zmierz czas i przeprowadź pilotaż z kilkoma osobami z grupy docelowej, najlepiej z wywiadem poznawczym. Pomocny jest też audyt ankiety, który wskaże problemy i zaproponuje nowe brzmienie pytań.
Powiązane hasła
Przeczytaj też
Jak zrobić ankietę do pracy dyplomowej
12 kroków od hipotez do czystych danych: skale, pytania, zgoda, pilotaż, Google Forms czy LimeSurvey, książka kodów, harmonogram i lista kontrolna.
Czytaj →PoradnikNieuważne odpowiedzi w ankietach online
Jak wykryć straightlining, losowe klikanie i speeding: longstring, IRV, D² Mahalanobisa i pytania kontrolne w R, reguła wykluczeń i opis w APA.
Czytaj →PoradnikGdzie znaleźć respondentów do ankiety?
Uczelnia, grupy tematyczne, kula śnieżna, panele i wymiana ankiet – porównanie kanałów, wzór zaproszenia, liczba zaproszeń i opis próby w pracy.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Wyceń analizęOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- Antoun, C., Couper, M. P., & Conrad, F. G. (2017). Effects of mobile versus PC web on survey response quality: A crossover experiment in a probability web panel. Public Opinion Quarterly, 81(S1), 280–306. https://doi.org/10.1093/poq/nfw088 ● Otwarty dostęp
- Choi, B. C. K., & Pak, A. W. P. (2005). A catalog of biases in questionnaires. Preventing Chronic Disease, 2(1), Article A13. https://pmc.ncbi.nlm.nih.gov/articles/PMC1323316/ ● Otwarty dostęp
- Couper, M. P., Tourangeau, R., Conrad, F. G., & Zhang, C. (2013). The design of grids in web surveys. Social Science Computer Review, 31(3), 322–345. https://doi.org/10.1177/0894439312469865 ● Otwarty dostęp: pełny tekst
- Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public Opinion Quarterly, 73(2), 349–360. https://doi.org/10.1093/poq/nfp031 ● Otwarty dostęp: pełny tekst
- Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213–236. https://doi.org/10.1002/acp.2350050305
- Krumpal, I. (2013). Determinants of social desirability bias in sensitive surveys: A literature review. Quality & Quantity, 47(4), 2025–2047. https://doi.org/10.1007/s11135-011-9640-9 ● Otwarty dostęp
- Lenzner, T., & Menold, N. (2016). Question wording. GESIS – Leibniz Institute for the Social Sciences. https://doi.org/10.15465/gesis-sg_en_017 ● Otwarty dostęp: pełny tekst
- Lietz, P. (2010). Research into questionnaire design: A summary of the literature. International Journal of Market Research, 52(2), 249–272. https://doi.org/10.2501/S147078530920120X ● Otwarty dostęp
- Menold, N. (2020). Double barreled questions: An analysis of the similarity of elements and effects on measurement quality. Journal of Official Statistics, 36(4), 855–886. https://doi.org/10.2478/jos-2020-0041 ● Otwarty dostęp
- Revilla, M., & Couper, M. P. (2018). Comparing grids with vertical and horizontal item-by-item formats for PCs and smartphones. Social Science Computer Review, 36(3), 349–368. https://doi.org/10.1177/0894439317715626
- Saris, W., Revilla, M., Krosnick, J. A., & Shaeffer, E. M. (2010). Comparing questions with agree/disagree response options to questions with item-specific response options. Survey Research Methods, 4(1), 61–79. https://doi.org/10.18148/srm/2010.v4i1.2682 ● Otwarty dostęp
- Schaeffer, N. C. (1991). Hardly ever or constantly? Group comparisons using vague quantifiers. Public Opinion Quarterly, 55(3), 395–423. https://doi.org/10.1086/269270
- Schwarz, N. (1999). Self-reports: How the questions shape the answers. American Psychologist, 54(2), 93–105. https://doi.org/10.1037/0003-066X.54.2.93
- Zhou, H., & Fishbach, A. (2016). The pitfall of experimenting on the web: How unattended selective attrition leads to surprising (yet false) research conclusions. Journal of Personality and Social Psychology, 111(4), 493–504. https://doi.org/10.1037/pspa0000056
Cytowania BibTeX
@article{antoun2017effects, author={Antoun, Christopher and Couper, Mick P. and Conrad, Frederick G.}, title={{Effects of mobile versus PC web on survey response quality: A crossover experiment in a probability web panel}}, journal={Public Opinion Quarterly}, year={2017}, volume={81}, number={S1}, pages={280--306}, doi={10.1093/poq/nfw088}}@article{choi2005catalog, author={Choi, Bernard C. K. and Pak, Anita W. P.}, title={{A catalog of biases in questionnaires}}, journal={Preventing Chronic Disease}, year={2005}, volume={2}, number={1}, eid={A13}, url={https://pmc.ncbi.nlm.nih.gov/articles/PMC1323316/}}@article{couper2013design, author={Couper, Mick P. and Tourangeau, Roger and Conrad, Frederick G. and Zhang, Chan}, title={{The design of grids in web surveys}}, journal={Social Science Computer Review}, year={2013}, volume={31}, number={3}, pages={322--345}, doi={10.1177/0894439312469865}}@article{galesic2009effects, author={Galesic, M. and Bosnjak, M.}, title={{Effects of questionnaire length on participation and indicators of response quality in a web survey}}, journal={Public Opinion Quarterly}, year={2009}, volume={73}, number={2}, pages={349--360}, doi={10.1093/poq/nfp031}}@article{krosnick1991response, author={Krosnick, Jon A.}, title={{Response strategies for coping with the cognitive demands of attitude measures in surveys}}, journal={Applied Cognitive Psychology}, year={1991}, volume={5}, number={3}, pages={213--236}, doi={10.1002/acp.2350050305}}@article{krumpal2013determinants, author={Krumpal, Ivar}, title={{Determinants of social desirability bias in sensitive surveys: A literature review}}, journal={Quality \& Quantity}, year={2013}, volume={47}, number={4}, pages={2025--2047}, doi={10.1007/s11135-011-9640-9}}@techreport{lenzner2016question, author={Lenzner, Timo and Menold, Natalja}, title={{Question wording}}, year={2016}, institution={GESIS – Leibniz Institute for the Social Sciences}, doi={10.15465/gesis-sg_en_017}}@article{lietz2010research, author={Lietz, Petra}, title={{Research into questionnaire design: A summary of the literature}}, journal={International Journal of Market Research}, year={2010}, volume={52}, number={2}, pages={249--272}, doi={10.2501/s147078530920120x}}@article{menold2020double, author={Menold, Natalja}, title={{Double barreled questions: An analysis of the similarity of elements and effects on measurement quality}}, journal={Journal of Official Statistics}, year={2020}, volume={36}, number={4}, pages={855--886}, doi={10.2478/jos-2020-0041}}@article{revilla2018comparing, author={Revilla, Melanie and Couper, Mick P.}, title={{Comparing grids with vertical and horizontal item-by-item formats for PCs and smartphones}}, journal={Social Science Computer Review}, year={2018}, volume={36}, number={3}, pages={349--368}, doi={10.1177/0894439317715626}}@article{saris2010comparing, author={Saris, Willem and Revilla, Melanie and Krosnick, Jon A. and Shaeffer, Eric M.}, title={{Comparing questions with agree/disagree response options to questions with item-specific response options}}, journal={Survey Research Methods}, year={2010}, volume={4}, number={1}, pages={61--79}, doi={10.18148/srm/2010.v4i1.2682}}@article{schaeffer1991hardly, author={Schaeffer, Nora Cate}, title={{Hardly ever or constantly? Group comparisons using vague quantifiers}}, journal={Public Opinion Quarterly}, year={1991}, volume={55}, number={3}, pages={395--423}, doi={10.1086/269270}}@article{schwarz1999self, author={Schwarz, Norbert}, title={{Self-reports: How the questions shape the answers}}, journal={American Psychologist}, year={1999}, volume={54}, number={2}, pages={93--105}, doi={10.1037/0003-066x.54.2.93}}@article{zhou2016pitfall, author={Zhou, Haotian and Fishbach, Ayelet}, title={{The pitfall of experimenting on the web: How unattended selective attrition leads to surprising (yet false) research conclusions}}, journal={Journal of Personality and Social Psychology}, year={2016}, volume={111}, number={4}, pages={493--504}, doi={10.1037/pspa0000056}}