Słownik metodologiczny · Konstrukcja ankiety

Wywiad poznawczy – jak sprawdzić, czy respondenci rozumieją pytania ankiety

Wywiad poznawczy pokazuje, jak respondenci naprawdę rozumieją pytania ankiety. Wyjaśniamy głośne myślenie i pytania sondujące, ile wywiadów przeprowadzić, jak dokumentować problemy i jak poprawić pytanie.

Strona główna / Słownik / Wywiad poznawczy
W skrócie: Wywiad poznawczy to metoda pretestowania kwestionariusza: respondent odpowiada na robocze pytania, a badacz – przez głośne myślenie lub pytania sondujące – sprawdza, jak je rozumie i jak dochodzi do odpowiedzi. Prowadź wywiady w rundach z osobami z populacji docelowej, dokumentuj problemy dla każdej pozycji i sprawdzaj poprawki w kolejnej rundzie.

Co to jest wywiad poznawczy?

Wywiad poznawczy (ang. cognitive interviewing, także: pretest poznawczy) to metoda sprawdzania roboczej wersji kwestionariusza: respondent odpowiada na pytania ankiety, a badacz zbiera dodatkowe informacje słowne o tym, jak je zrozumiał i jak doszedł do odpowiedzi. Tak definiują go Beatty i Willis (2007) w syntezie praktyki wywiadów poznawczych. Celem jest sprawdzenie, czy respondenci rozumieją pytania zgodnie z intencją autora – Willis i Artino (2013) wychodzą od obserwacji, że niejasne pytania są częstym źródłem błędów w komunikacji z respondentami.

Wywiad poznawczy nie mierzy konstruktu i nie dostarcza danych do analiz statystycznych. To jakościowa diagnoza pytań, prowadzona na etapie projektowania narzędzia – po napisaniu pozycji i ocenie ekspertów, a przed badaniem pilotażowym. Dobrze przeprowadzony daje też argumenty za trafnością pomiaru: pokazuje, że osoby badane rozumieją pozycje tak, jak zakłada definicja konstruktu przyjęta w operacjonalizacji. Klasycznym podręcznikiem metody jest książka Willisa (2005), a praktyczne wprowadzenie do planowania, technik i analizy pretestów poznawczych zawierają wytyczne GESIS (Lenzner i in., 2016).

Co sprawdza wywiad poznawczy? Cztery etapy odpowiadania

Odpowiedź na pytanie ankiety wymaga od respondenta kilku kroków. Wytyczne GESIS dotyczące formułowania pytań porządkują je w cztery zadania: zrozumienie pytania, przywołanie informacji, wydanie sądu i dopasowanie odpowiedzi do formatu (Lenzner i Menold, 2016). Wywiad poznawczy sprawdza każdy z tych etapów.

Etapy odpowiadania na pytanie ankiety i typowe problemy wykrywane w wywiadach poznawczych
EtapCo robi respondentTypowy problemPrzykład
Zrozumienie pytaniaInterpretuje słowa i intencję pytającegoNiejasny lub wieloznaczny terminCzy „pomoc psychologiczna” obejmuje rozmowę z przyjacielem?
Przywołanie informacjiSzuka odpowiedzi w pamięciZbyt długi lub nieokreślony okres, brak potrzebnej wiedzy„W ostatnim czasie” – tydzień czy rok?
Wydanie sąduŁączy informacje i oceniaSzacowanie zamiast liczenia, odpowiadanie „jak wypada”Zawyżanie liczby godzin nauki
Dopasowanie odpowiedziWybiera kategorię odpowiedziBrak pasującej odpowiedzi, nieostre etykietyCzy dwie wizyty to „rzadko”, czy „czasami”?

Problemy na etapie sądu mogą wiązać się z aprobatą społeczną, a na etapie dopasowania – z budową kafeterii i etykiet skali Likerta.

Głośne myślenie czy pytania sondujące?

W wywiadach poznawczych stosuje się dwie główne techniki. Przy głośnym myśleniu (think-aloud) respondent na bieżąco wypowiada swoje myśli, odpowiadając na pytanie, a badacz głównie zachęca go do mówienia. Przy sondowaniu werbalnym (verbal probing) badacz aktywnie zadaje dodatkowe pytania. Willis i Artino (2013) zwracają uwagę, że głośne myślenie jest dla respondentów obciążające i często wydaje się im nienaturalne, a sondowanie jest efektywne i łatwiejsze do zakodowania, ale niesie ryzyko reaktywności – pytania badacza mogą wpływać na odpowiedzi. W praktyce obie techniki często się łączy, z przewagą sondowania.

Porównanie techniki głośnego myślenia i sondowania werbalnego
CechaGłośne myślenieSondowanie werbalne
Rola badaczaBierna: zachęca do mówienia („Proszę mówić, o czym Pan/Pani myśli”)Aktywna: zadaje zaplanowane i spontaniczne pytania
ZaletyMały wpływ badacza na tok rozumowaniaEfektywne, łatwiejsze do analizy
WadyObciążające; dla wielu osób nienaturalne i trudneRyzyko reaktywności
Kiedy wybraćZłożone pytania, respondenci, którzy swobodnie mówiąWiększość wywiadów w pracy dyplomowej, zwykle w połączeniu z elementami głośnego myślenia

Pytania sondujące można zadawać na bieżąco – zaraz po odpowiedzi na daną pozycję – albo retrospektywnie, po wypełnieniu całej ankiety. Sondowanie na bieżąco lepiej uchwytuje świeże wrażenia, a retrospektywne mniej zakłóca naturalny przebieg wypełniania.

Typowe pytania sondujące

Pytania sondujące przygotowuje się z góry dla każdej sprawdzanej pozycji, a w trakcie rozmowy dodaje się pytania spontaniczne, gdy coś zwróci uwagę badacza – wahanie, zmianę odpowiedzi, komentarz. Najczęstsze rodzaje:

Rodzaje pytań sondujących w wywiadzie poznawczym z przykładami
RodzajPrzykład pytania sondującegoCo wykrywa
Rozumienie terminu„Co oznacza dla Ciebie »pomoc psychologiczna«?”Niejasne lub wieloznaczne słowa
Parafraza„Jak powiedziałbyś/powiedziałabyś to pytanie własnymi słowami?”Rozumienie całego pytania
Przywołanie„Jak doszedłeś/doszłaś do tej liczby?”Szacowanie zamiast liczenia, zbyt długi okres odniesienia
Wybór odpowiedzi„Dlaczego wybrałeś/wybrałaś »raczej się zgadzam«, a nie »zdecydowanie się zgadzam«?”Rozumienie skali i etykiet odpowiedzi
Pewność„Na ile jesteś pewien/pewna tej odpowiedzi?”Pytania zbyt trudne, brak potrzebnej wiedzy
Ogólne„Czy coś w tym pytaniu było niejasne albo trudne?”Problemy, których badacz się nie spodziewał
Drażliwość„Czy to pytanie było dla Ciebie krępujące?”Ryzyko pomijania pytania i odpowiedzi „jak wypada”

Unikaj pytań sugerujących („To pytanie było jasne, prawda?”) – respondent zwykle przytaknie, nawet jeśli miał wątpliwości.

Ile wywiadów i ilu uczestników?

Beatty i Willis (2007) zaliczają decyzje o tym, kogo i ile osób badać oraz jak dobierać pytania sondujące, do kluczowych decyzji projektowych – i zaznaczają, że w części obszarów nie ma ustalonych dobrych praktyk. Praktyczne wskazówki dają Willis i Artino (2013): projekty z wywiadami poznawczymi są zwykle małe (łącznie 10–30 osób), w małych projektach nawet 5–6 wywiadów może dać użyteczne informacje, a proces powinien być iteracyjny – runda około 10 wywiadów, poprawki i kolejna runda. Według autorów trzy rundy po 10 wywiadów prawdopodobnie wystarczą, by ujawniły się problematyczne pytania.

Iteracyjność ma znaczenie. W eksperymencie Lenznera i in. (2023) problemy wykryte w dziesięciu wywiadach poznawczych rzeczywiście ujawniały się w dużym badaniu internetowym, ale wersja pytania poprawiona na ich podstawie nie musiała dawać danych lepszej jakości. Nie zakładaj, że poprawione pytanie jest lepsze – sprawdź je w kolejnej rundzie.

Uczestników dobieraj z populacji docelowej i zadbaj o ich zróżnicowanie (np. różne lata studiów, osoby pracujące i niepracujące), bo problem z pytaniem często dotyczy tylko części respondentów. Osoby z wywiadów poznawczych nie powinny brać udziału w badaniu głównym, a ich odpowiedzi nie trafiają do analiz (Willis i Artino, 2013). Jak liczba osób przekłada się na szansę wykrycia problemu, pokazujemy na wykresie w poradniku o badaniu pilotażowym.

Jak przeprowadzić wywiad poznawczy krok po kroku

  1. Przygotuj protokół: listę pozycji do sprawdzenia i dla każdej 1–3 zaplanowane pytania sondujące. Skup się na pozycjach nowych, przetłumaczonych (zob. właściwa adaptacja) i tych, które budzą Twoje wątpliwości.
  2. Uzyskaj zgodę na udział i – jeśli chcesz nagrywać – na nagrywanie (zob. świadoma zgoda i RODO w badaniach). Wyjaśnij, że sprawdzasz pytania, a nie respondenta: nie ma złych odpowiedzi, a każda trudność to cenna informacja.
  3. Przećwicz głośne myślenie na neutralnym przykładzie (np. „Ile okien jest w Twoim mieszkaniu?”), jeśli zamierzasz tę technikę stosować.
  4. Prowadź respondenta przez ankietę w formie zbliżonej do docelowej – na telefonie, jeśli tak będzie wypełniana – i zadawaj pytania sondujące.
  5. Notuj na bieżąco dosłowne wypowiedzi, wahania, prośby o wyjaśnienie i zmiany odpowiedzi.
  6. Po wywiadzie uzupełnij notatki i wpisz problemy do tabeli dokumentacji.

Jak dokumentować problemy?

Analiza wywiadów poznawczych jest jakościowa: polega na kodowaniu i interpretowaniu notatek, a nie na liczeniu statystyk. Willis i Artino (2013) zalecają zebranie notatek dla każdej pozycji ze wszystkich wywiadów, szukanie powtarzających się wątków i wskazanie miejsc, w których rozumienie respondentów odbiega od intencji autora. Wygodnym narzędziem jest tabela problemów prowadzona dla każdej rundy:

Szablon tabeli dokumentującej problemy wykryte w wywiadach poznawczych
KolumnaCo w niej zapisać
PozycjaNumer i pełna treść pytania z odpowiedziami
Opis problemuCo dokładnie było niejasne lub trudne
Etap odpowiadaniaRozumienie, przywołanie, sąd albo wybór odpowiedzi
CzęstośćW ilu wywiadach problem się pojawił (na tle liczby wszystkich wywiadów w rundzie)
CytatDosłowna wypowiedź respondenta ilustrująca problem
DecyzjaZmiana brzmienia, dodanie definicji, nowy format odpowiedzi albo pozostawienie bez zmian – z uzasadnieniem
RundaKiedy wykryto problem i czy poprawkę sprawdzono w kolejnej rundzie

Wyniki wywiadów poznawczych opisuje się w części metodologicznej pracy (Willis i Artino, 2013); pełną tabelę problemów i zmian warto dołączyć jako aneks.

Przykład: pytanie przed i po wywiadach poznawczych

Studentka przygotowuje ankietę o korzystaniu z pomocy psychologicznej przez studentów. W roboczej wersji pytania wywiady poznawcze mogą ujawnić trzy problemy, każdy na innym etapie odpowiadania:

  • Rozumienie: „pomoc psychologiczna” bywa rozumiana bardzo różnie – od wizyty u psychiatry po rozmowę z przyjaciółką albo aplikację z ćwiczeniami oddechowymi.
  • Przywołanie: „w ostatnim czasie” jedni rozumieją jako ostatni tydzień, inni jako cały rok.
  • Wybór odpowiedzi: „rzadko” i „czasami” oznaczają dla różnych osób różną liczbę spotkań.
Pytanie ankiety przed wywiadami poznawczymi i po nich
ElementPrzed wywiadamiPo wywiadach
Pytanie„Jak często w ostatnim czasie korzystałeś/aś z pomocy psychologicznej?”„Ile razy w ciągu ostatnich 12 miesięcy spotkałeś/aś się z psychologiem, psychoterapeutą lub psychiatrą (osobiście lub online)? Nie licz rozmów z rodziną i znajomymi ani aplikacji.”
OdpowiedziNigdy / rzadko / czasami / często0 / 1–2 / 3–5 / 6–10 / więcej niż 10 / wolę nie odpowiadać
Co poprawiono–Okres odniesienia, definicja pojęcia, liczbowe kategorie zamiast nieostrych określeń częstości, opcja odmowy przy pytaniu drażliwym

Podobny przypadek opisują Willis i Artino (2013): przy pytaniu o udział w „formalnym programie edukacyjnym” respondenci nie wiedzieli, które aktywności wliczyć, a rozwiązaniem jest wyraźne zdefiniowanie pojęcia w ankiecie. Poprawioną wersję sprawdź w kolejnej rundzie – nowe sformułowanie może rodzić nowe problemy (Lenzner i in., 2023). Więcej typowych usterek pytań, które wychwytują wywiady poznawcze, zebraliśmy w tekście najczęstsze błędy w ankietach.

Jak opisać wywiady poznawcze w pracy

W rozdziale metodologicznym podaj, ile osób i jak dobranych wzięło udział w wywiadach, jaką techniką je prowadzono, ile było rund i co zmieniono. Wzór akapitu:

Wstępną wersję kwestionariusza sprawdzono w wywiadach poznawczych z [liczba] osobami z populacji docelowej ([krótka charakterystyka, np. studenci I–V roku, w tym osoby pracujące zarobkowo]). Wywiady prowadzono indywidualnie, [osobiście/online], z wykorzystaniem sondowania werbalnego [oraz głośnego myślenia]; były [nagrywane za zgodą uczestników/notowane na bieżąco]. Przeprowadzono [liczba] rundy wywiadów, a poprawki z pierwszej rundy sprawdzono w kolejnej. Problemy zapisywano dla każdej pozycji i przypisywano do etapu odpowiadania (rozumienie pytania, przywołanie informacji, wydanie sądu, wybór odpowiedzi). Na tej podstawie zmieniono [liczba] pozycji (szczegóły w Aneksie [X]). Osoby uczestniczące w wywiadach nie brały udziału w badaniu głównym.

Miejsce wywiadów poznawczych w całym procesie tworzenia ankiety pokazujemy w poradniku jak zrobić ankietę do pracy dyplomowej.

Najczęstsze błędy

  • Wywiady ze znajomymi z roku, którzy znają cel badania i „wiedzą, o co chodzi” – nie pokażą problemów typowego respondenta.
  • Pytania sugerujące zamiast neutralnych pytań sondujących.
  • Jedna runda bez sprawdzenia poprawek – poprawiona wersja nie musi działać lepiej (Lenzner i in., 2023).
  • Traktowanie wyników jak danych ilościowych – procenty „zrozumienia” z kilku rozmów niewiele mówią; liczy się opis problemów.
  • Pomijanie pozycji tłumaczonych i adaptowanych – właśnie w nich najłatwiej o przesunięcie znaczenia.
  • Brak dokumentacji – w pracy tylko zdanie „pytania skonsultowano z kilkoma osobami”.

Najczęstsze pytania

Co to jest wywiad poznawczy?

To metoda pretestowania kwestionariusza: respondent odpowiada na robocze pytania ankiety, a badacz zbiera dodatkowe informacje o tym, jak je rozumie i jak dochodzi do odpowiedzi (Beatty i Willis, 2007). Służy do wykrycia pytań niejasnych, wieloznacznych lub zbyt trudnych przed pilotażem.

Ile wywiadów poznawczych trzeba przeprowadzić?

Nie ma sztywnej reguły. Willis i Artino (2013) piszą, że projekty obejmują zwykle łącznie 10–30 osób, w małych projektach nawet 5–6 wywiadów daje użyteczne informacje, a najlepiej pracować w rundach po ok. 10 wywiadów z poprawkami między rundami.

Czym różni się wywiad poznawczy od pilotażu?

Wywiad poznawczy to rozmowa jeden na jeden, która pokazuje, jak respondenci rozumieją pytania – daje dane jakościowe. Pilotaż to wypełnienie ankiety przez grupę osób w warunkach zbliżonych do badania właściwego: pokazuje czas, rozkłady odpowiedzi, braki i działanie techniczne. Wywiady poznawcze zwykle poprzedzają pilotaż.

Co to jest metoda głośnego myślenia?

To technika, w której respondent na bieżąco mówi, o czym myśli, odpowiadając na pytanie, a badacz jedynie zachęca go do mówienia. Daje wgląd w tok rozumowania, ale wiele osób uważa ją za nienaturalną i trudną, dlatego często łączy się ją z pytaniami sondującymi (Willis i Artino, 2013).

Jakie pytania zadawać w wywiadzie poznawczym?

Najczęściej pytania o rozumienie terminów („Co oznacza dla Ciebie…?”), parafrazę pytania, sposób dojścia do odpowiedzi („Jak ustaliłeś/ustaliłaś tę liczbę?”), wybór kategorii odpowiedzi, pewność odpowiedzi oraz ogólne pytanie o niejasności. Przygotuj je z góry, ale reaguj też na wahanie respondenta.

Czy wywiad poznawczy trzeba nagrywać?

Nie trzeba, ale nagranie ułatwia analizę, bo pozwala wrócić do dosłownych wypowiedzi. Na nagrywanie potrzebujesz zgody uczestnika; bez nagrania notuj na bieżąco wahania, prośby o wyjaśnienie i dosłowne cytaty.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Beatty, P. C., & Willis, G. B. (2007). Research synthesis: The practice of cognitive interviewing. Public Opinion Quarterly, 71(2), 287–311. https://doi.org/10.1093/poq/nfm006 ● Otwarty dostęp
  2. Lenzner, T., & Menold, N. (2016). Question wording. GESIS – Leibniz Institute for the Social Sciences. https://doi.org/10.15465/gesis-sg_en_017 ● Otwarty dostęp: pełny tekst
  3. Lenzner, T., Hadler, P., & Neuert, C. (2023). An experimental test of the effectiveness of cognitive interviewing in pretesting questionnaires. Quality & Quantity, 57(4), 3199–3217. https://doi.org/10.1007/s11135-022-01489-4 ● Otwarty dostęp
  4. Lenzner, T., Neuert, C., & Otto, W. (2016). Cognitive pretesting. GESIS – Leibniz Institute for the Social Sciences. https://doi.org/10.15465/gesis-sg_en_010 ● Otwarty dostęp
  5. Willis, G. B. (2005). Cognitive interviewing: A tool for improving questionnaire design. SAGE Publications. https://doi.org/10.4135/9781412983655
  6. Willis, G. B., & Artino, A. R., Jr. (2013). What do our respondents think we're asking? Using cognitive interviewing to improve medical education surveys. Journal of Graduate Medical Education, 5(3), 353–356. https://doi.org/10.4300/JGME-D-13-00154.1 ● Otwarty dostęp

Cytowania BibTeX

@article{beatty2007research, author={Beatty, Paul C. and Willis, Gordon B.}, title={{Research synthesis: The practice of cognitive interviewing}}, journal={Public Opinion Quarterly}, year={2007}, volume={71}, number={2}, pages={287--311}, doi={10.1093/poq/nfm006}}
@techreport{lenzner2016question, author={Lenzner, Timo and Menold, Natalja}, title={{Question wording}}, year={2016}, institution={GESIS – Leibniz Institute for the Social Sciences}, doi={10.15465/gesis-sg_en_017}}
@article{lenzner2023experimental, author={Lenzner, Timo and Hadler, Patricia and Neuert, Cornelia}, title={{An experimental test of the effectiveness of cognitive interviewing in pretesting questionnaires}}, journal={Quality \& Quantity}, year={2023}, volume={57}, number={4}, pages={3199--3217}, doi={10.1007/s11135-022-01489-4}}
@techreport{lenzner2016cognitive, author={Lenzner, Timo and Neuert, Cornelia and Otto, Wanda}, title={{Cognitive pretesting}}, year={2016}, institution={GESIS – Leibniz Institute for the Social Sciences}, doi={10.15465/gesis-sg_en_010}}
@book{willis2005cognitive, author={Willis, Gordon B.}, title={{Cognitive interviewing: A tool for improving questionnaire design}}, year={2005}, publisher={SAGE Publications}, doi={10.4135/9781412983655}}
@article{willis2013what, author={Willis, Gordon B. and Artino, Jr., Anthony R.}, title={{What do our respondents think we're asking? Using cognitive interviewing to improve medical education surveys}}, journal={Journal of Graduate Medical Education}, year={2013}, volume={5}, number={3}, pages={353--356}, doi={10.4300/jgme-d-13-00154.1}}
R