Wywiad poznawczy w pilotażu krok po kroku: od protokołu do poprawionej ankiety

Autor: Konrad Hryniewicz · Opublikowano: 26 października 2026

Po co wywiad poznawczy przed pilotażem?

Piszesz własną ankietę do pracy licencjackiej albo magisterskiej. Pytania wydają Ci się jasne, bo wiesz, co miałaś lub miałeś na myśli. Respondent tego nie wie. Czyta tylko słowa, które mu dałaś, i dopowiada resztę z własnego doświadczenia. Wywiad poznawczy sprawdza właśnie ten moment: czy osoba z Twojej populacji rozumie pytanie tak jak Ty, czy umie przywołać potrzebną informację i czy znajduje odpowiedź, która do niej pasuje.

Ten poradnik nie powtarza definicji metody. Czym jest wywiad poznawczy, czym różni się głośne myślenie od sondowania i jakie są typowe pytania sondujące, opisuje hasło w słowniku. Tutaj przechodzimy przez cały projekt krok po kroku, na jednym przykładzie: od wyboru pozycji, przez protokół i dwie rundy wywiadów, po arkusz kodowania, zliczenie problemów w R, poprawki i opis w pracy. Wywiady poznawcze to zwykle pierwszy etap pretestu. Drugim jest badanie pilotażowe na większej grupie, które pokazuje czas wypełniania, rozkłady i braki danych.

Presser i in. (2004) opisali paradoks pretestowania. Wszyscy uznają je za niezbędne, ale podręczniki dają niewiele konkretnych wskazówek, a raporty z badań rzadko mówią, czy i jak pretest przeprowadzono i co z niego wynikło. W pracy dyplomowej łatwo uniknąć tego błędu. Wystarczy plan, kilka godzin rozmów i porządna dokumentacja.

Przykład, który prowadzi przez cały wpis

Studentka trzeciego roku pisze pracę licencjacką o korzystaniu z telefonu w czasie nauki. Przygotowała ankietę własną „Telefon w czasie nauki” (TwN, ankieta fikcyjna) z ośmioma pozycjami. Pozycje P1–P4 i P6–P8 mają skalę od „nigdy” do „zawsze”. P5 to pytanie otwarte o liczbę godzin nauki. Przed pilotażem przeprowadza dwie rundy wywiadów poznawczych: 8 rozmów z wersją roboczą i 6 rozmów z wersją poprawioną. Notatki z rozmów są przykładowe, ale wszystkie liczby w tekście, tabelach i na rysunkach pochodzą z kodu R na końcu wpisu.

Krok 1. Wybierz pozycje i ustal regułę decyzji przed pierwszą rozmową

Nie musisz sprawdzać w wywiadach każdej pozycji z tą samą dokładnością. Najwięcej uwagi poświęć pozycjom nowym, napisanym przez siebie, przetłumaczonym (zob. właściwa adaptacja) i tym, które budzą Twoje wątpliwości. Pozycje z gotowego, dobrze opisanego narzędzia zwykle zostawiasz bez zmian. Wywiady mogą jednak pokazać, że w Twojej grupie coś działa inaczej, np. instrukcja albo okres odniesienia.

Przy każdej pozycji zapisz, co chcesz zmierzyć. Jedno zdanie wystarczy, np. „P1: jak często student przerywa naukę, żeby sięgnąć po telefon”. To zdanie wynika z operacjonalizacji i jest wzorcem, z którym porównasz to, co mówią respondenci. Bez niego trudno ocenić, czy odpowiedź świadczy o problemie, czy tylko o innym doświadczeniu.

Przed pierwszą rozmową zapisz też regułę decyzji, czyli warunek, przy którym pozycja trafia do poprawy. W przykładzie reguła brzmi: pozycję przeglądamy i poprawiamy, gdy problem pojawił się w co najmniej 2 wywiadach albo choć raz był poważny, czyli zmieniał sens odpowiedzi lub uniemożliwiał odpowiedź. Reguła ustalona wcześniej chroni przed dwiema pokusami. Pierwsza to poprawianie wszystkiego, co ktoś raz skomentował. Druga to obrona ulubionych pozycji. Reguła nie zastępuje myślenia, tylko wskazuje pozycje do dyskusji, co zobaczysz w kroku 9.

Krok 2. Napisz protokół wywiadu

Protokół to scenariusz, który czytasz i wypełniasz podczas każdej rozmowy. Dzięki niemu każdy wywiad przebiega podobnie, a notatki z różnych osób da się porównać. Wytyczne GESIS opisują planowanie pretestu poznawczego, dobór technik, prowadzenie wywiadów i analizę wyników (Lenzner i in., 2016). Na tej podstawie protokół do pracy dyplomowej może mieć siedem części.

Gotowy protokół z tymi częściami, przykładowymi pytaniami sondującymi do pozycji P1–P5 i pustymi wierszami na Twoje pozycje możesz pobrać jako plik Word (protokol-wywiadu-poznawczego.docx). Arkusz kodowania z przykładu, z którego korzysta kod R, jest w pliku wywiad-poznawczy-arkusz-kodowania.csv.

Pytania sondujące pisz pod konkretne podejrzenie. Do P1 pasuje pytanie o okres („Jaki czas miałaś na myśli, czytając »w ostatnim czasie«?”), do P3 prośba o parafrazę, a do P5 pytanie o sposób liczenia („Jak doszedłeś do tej liczby?”). Unikaj pytań sugerujących typu „To było jasne, prawda?”. Większość osób po prostu przytaknie.

Krok 3. Wybierz technikę: sondowanie, głośne myślenie czy obie

W pracy dyplomowej zwykle wystarczy sondowanie werbalne z elementami głośnego myślenia. Willis i Artino (2013) piszą, że głośne myślenie jest dla wielu osób obciążające i nienaturalne, a zapisy trudno analizować. Sondowanie jest wydajne, łatwiej je kodować i można nim celować w konkretny proces, np. rozumienie terminu. Wymaga jednak więcej przygotowania od prowadzącego i może wywoływać reaktywność: pytany respondent zastanawia się dłużej niż przy zwykłym wypełnianiu. W praktyce obie techniki często się łączy, z przewagą sondowania.

Porównanie obu technik na tych samych pytaniach przeprowadzili Priede i Farrall (2011). Sondowanie wykryło więcej problemów i lepiej sprawdzało się przy konkretnych terminach. Głośne myślenie lepiej pokazywało, jak ludzie rozumieją pojęcia i jak korzystają z własnych doświadczeń przy wyborze odpowiedzi. Ostateczne poprawki pytań prawie się jednak nie różniły. Wybór techniki jest więc mniej ważny niż konsekwencja w jej stosowaniu i dobra dokumentacja.

Druga decyzja dotyczy momentu sondowania. Pytania zadane od razu po odpowiedzi na pozycję łapią świeże myśli, ale przerywają wypełnianie. Pytania zadane na koniec nie zaburzają przebiegu, ale wymagają przypominania sobie rzeczy sprzed kilku minut (Willis i Artino, 2013). Przy ankiecie internetowej wypełnianej samodzielnie dobrze działa połączenie obu sposobów. Przy pozycjach, które podejrzewasz, sonduj od razu, a pozostałe omów na koniec.

Sonduj to, co respondent pokazał, a nie to, co sam podejrzewasz. Conrad i Blair (2009) stwierdzili, że gdy prowadzący dopytywali poza treścią tego, co powiedział respondent, częściej uznawali za problem coś, czego większość niezależnych sędziów problemem nie nazwała. W tym samym badaniu zgodność ocen, czy w danym wywiadzie wystąpił problem, była zaskakująco niska. To argument za drugą osobą kodującą, o której piszemy w kroku 6.

Krok 4. Dobierz uczestników i zaplanuj rundy

Uczestnicy mają pochodzić z populacji, którą badasz, i różnić się cechami, które mogą zmieniać rozumienie pytań. W przykładzie to studenci różnych lat i kierunków, osoby mieszkające w akademiku i z rodzicami, pracujące i niepracujące. Nie zapraszaj osób z własnej grupy seminaryjnej. Znają temat i domyślą się, „o co chodzi”. Do doboru wystarczy dobór celowy z dbałością o zróżnicowanie.

Ile osób? Beatty i Willis (2007) zaliczają decyzję, kogo i ile osób badać, do kluczowych decyzji projektowych, w których brakuje ustalonych dobrych praktyk. Willis i Artino (2013) podają praktyczne wskazówki. Projekty obejmują zwykle łącznie 10–30 osób, w małych projektach nawet 5–6 wywiadów może być użytecznych, a pracować najlepiej w rundach: kilka wywiadów, poprawki i kolejna runda. Więcej rozmów oznacza więcej wykrytych problemów. W modelu i w badaniu empirycznym Blaira i Conrada (2011) liczba wykrytych problemów rosła wraz z liczbą wywiadów, a poważne problemy przeoczone w małych próbach ujawniały się w większych. Perneger i in. (2015) policzyli, że problem dotyczący 5% osób ma przy 10 uczestnikach tylko 40% szans na wykrycie. Jak liczba osób przekłada się na szansę zauważenia problemu, pokazuje wykres w poradniku o pilotażu.

W przykładzie studentka zaplanowała 8 wywiadów w pierwszej rundzie i 6 w drugiej, z nowymi osobami. Razem to 14 rozmów, czyli wartość w zakresie podawanym przez Willisa i Artino (2013). Druga runda z nowymi osobami jest ważna, bo uczestnicy pierwszej znają już wersję roboczą. Z tego samego powodu żadna z tych osób nie bierze udziału w pilotażu ani w badaniu głównym.

Krok 5. Przeprowadź wywiad

Przed rozmowami sprawdź, czy Twoja uczelnia wymaga zgody komisji etycznej także na pretest (zob. zgoda komisji bioetycznej), i przygotuj informację dla uczestnika. Na udział i na ewentualne nagrywanie potrzebujesz zgody (zob. świadoma zgoda i RODO w badaniach). Nagranie zapisuj pod numerem wywiadu, nie pod nazwiskiem.

1. Daj ankietę w docelowej formie. Jeśli studenci będą ją wypełniać na telefonie, wywiad też prowadź na telefonie. Układ ekranu, przewijanie i długość etykiet zmieniają odbiór pytań.
2. Przeczytaj wprowadzenie z protokołu i podkreśl, że każda trudność to dla Ciebie cenna informacja.
3. Zrób rozgrzewkę na próbnym pytaniu, jeśli prosisz o głośne myślenie.
4. Prowadź osobę przez ankietę i zadawaj zaplanowane pytania sondujące. Pytania spontaniczne zadawaj wtedy, gdy widzisz wahanie, zmianę odpowiedzi albo słyszysz komentarz.
5. Notuj dosłownie: cytaty, prośby o powtórzenie, pomyłki, czas namysłu. Opis „chyba nie zrozumiała” jest mniej przydatny niż cytat „nie wiem, czy liczyć czat z roku”.
6. Nie tłumacz pytania w trakcie. Jeśli respondent pyta, co znaczy słowo, odpowiedz: „A jak Pan/Pani to rozumie?”. Twoje wyjaśnienie nie trafi do ankiety, więc nie może trafić do wywiadu.
7. Zaraz po rozmowie uzupełnij notatki i wpisz problemy do arkusza kodowania. Po kilku godzinach szczegóły się zacierają.

Krok 6. Zakoduj problemy w arkuszu

Analiza wywiadów poznawczych jest jakościowa. Willis i Artino (2013) zalecają zebranie notatek do każdej pozycji ze wszystkich wywiadów, szukanie powtarzających się wątków i wskazanie miejsc, w których rozumienie respondentów odbiega od intencji autora. Knafl i in. (2007) zwracają uwagę, że gotowych wskazówek do analizy jest mało, i opisują własne strategie podsumowywania i interpretowania takich danych. Arkusz kodowania jest prostym sposobem, żeby tę pracę uporządkować.

W arkuszu jeden wiersz to jeden problem u jednej osoby przy jednej pozycji. Każdy problem dostaje dwa kody. Pierwszy to etap odpowiadania według modelu procesów odpowiadania na pytania ankiet, który opisują Tourangeau i in. (2000): rozumienie pytania (R), przywołanie informacji (P), wydanie sądu (S) i wybór odpowiedzi (O). Drugi to waga: poważny problem zmienia sens odpowiedzi albo ją uniemożliwia, drobny utrudnia odpowiedź, ale jej nie przekłamuje. W przykładzie respondent, który przy P4 zaznaczył odwrotnie, niż myślał, ma problem poważny. Respondentka, która przeczytała P4 trzy razy, ale odpowiedziała zgodnie z intencją, ma problem drobny.

Problemy na etapie sądu często wiążą się z aprobatą społeczną, a na etapie wyboru odpowiedzi z budową kafeterii i etykietami skali Likerta. Kodowanie notatek przypomina kodowanie odpowiedzi otwartych: potrzebujesz klucza z definicjami kodów i przykładami. Procedurę budowy klucza i liczenia kategorii pokazuje wpis o analizie treści pytań otwartych.

Poproś drugą osobę o niezależne zakodowanie przynajmniej części notatek. W przykładzie koleżanka z seminarium zakodowała pierwszą rundę bez wglądu w arkusz studentki. Porównano 64 komórki (8 wywiadów × 8 pozycji), w których każda z osób oceniała, czy wystąpił problem. Każda wskazała problem w 26 komórkach. Zgodziły się w 60 komórkach (93.8%), a kappa Cohena wyniosła κ = .87, 95% CI [.75, .99]. Taki wynik przy małej tabeli to tylko wskazówka. Ważniejsze jest omówienie 4 rozbieżnych komórek i doprecyzowanie klucza. Jak liczyć i raportować zgodność, opisuje poradnik o zgodności sędziów.

Krok 7. Zlicz problemy pozycja po pozycji

Gdy arkusz jest gotowy, policz, u ilu osób wystąpił problem przy każdej pozycji i na którym etapie. Takie zliczenie nie jest wynikiem badania ani oszacowaniem dla populacji. Przy 8 rozmowach „62.5%” to 5 osób. Liczby służą tu tylko do ustalenia kolejności pracy: pokazują, które pozycje omówić najpierw i na jakim etapie szukać przyczyny. Decyzję o poprawce podejmujesz na podstawie treści notatek.

W pierwszej rundzie zapisano 26 problemów. Najwięcej, 10 z 26 (38.5%), dotyczyło rozumienia pytania, 7 wydawania sądu, 5 przywołania, a 4 wyboru odpowiedzi. Pięć pozycji spełniło regułę decyzji. Najgorzej wypadła P4 z podwójnym przeczeniem: problem miało 6 z 8 osób, a 3 z nich zaznaczyły odpowiedź odwrotną do zamierzonej. P1 i P3 sprawiły kłopot 5 osobom, P2 i P5 – 4 osobom. P6 i P7 miały po jednym drobnym problemie, a P8 żadnego.

Mapa problemów pokazuje coś, czego nie widać w samej liczbie osób. Każda pozycja ma swój „etap awarii”. P2 i P4 to problemy rozumienia, P3 to problem sądu (dwa twierdzenia w jednym pytaniu), P1 łączy przywołanie z wyborem odpowiedzi, a P5 przywołanie z sądem. Od etapu zależy rodzaj poprawki. Na problem rozumienia pomaga definicja albo prostsze słowo. Problem przywołania wymaga określenia okresu. Przy problemie z wyborem odpowiedzi trzeba zmienić kategorie.

Brak problemów przy P8 nie dowodzi, że pozycja jest dobra. Oznacza tylko, że w 8 rozmowach nikt nie zgłosił trudności. Blair i Conrad (2011) pokazali, że wraz z liczbą wywiadów wychodzą kolejne problemy, także poważne. Wnioski o pozycjach „bez zastrzeżeń” formułuj więc ostrożnie.

Krok 8. Popraw pozycje

Poprawka ma usuwać przyczynę problemu, a nie jego objaw. Dlatego przy każdej pozycji wróć do notatek i zapisz, co dokładnie się działo. Typowe przyczyny i poprawki zebraliśmy we wpisie o najczęstszych błędach w ankietach. Poniżej decyzje z przykładu.

Przy poprawkach pilnuj trzech rzeczy. Po pierwsze, nie zmieniaj tego, co pozycja mierzy. Jeśli poprawka przesuwa treść, np. P3b mierzy już spowolnienie nauki, a nie ogólną „efektywność”, zapisz to w tabeli zmian i sprawdź, czy pasuje do definicji konstruktu. Po drugie, przy skali z kilkoma pozycjami pamiętaj o jej spójności. Rozbicie P3 zmienia liczbę pozycji, a nowa P4 zmienia kierunek. Po trzecie, nie usuwaj pozycji tylko dlatego, że sprawiała kłopot. Jeśli jest ważna dla treści konstruktu, popraw ją i sprawdź ponownie. Jeśli wcześniej oceniali ją eksperci, dopisz informację o zmianie do opisu trafności treściowej.

Krok 9. Sprawdź poprawki w drugiej rundzie

Poprawiona pozycja nie musi działać lepiej. W eksperymencie Lenznera i in. (2023) problemy wykryte w dziesięciu wywiadach poznawczych rzeczywiście ujawniały się potem w dużym badaniu internetowym. Wersja poprawiona na ich podstawie nie zawsze dawała jednak dane lepszej jakości. Dlatego druga runda sprawdza przede wszystkim nowe wersje.

W przykładzie w drugiej rundzie 6 nowych osób wypełniło poprawioną ankietę. Zapisano 5 problemów, wszystkie drobne. Poważnych problemów nie było, a w pierwszej rundzie było ich 8. P3a, P3b i nowa P4 nie sprawiły nikomu trudności. P1 i P2 miały po jednym drobnym problemie (1/6): wahanie przy kategorii „6–10 razy” i pytanie, czy e-mail od promotora to „materiał do zajęć”. Obie pozycje zostały bez zmian.

Dwie decyzje wymagały namysłu. P5 spełniła regułę (2/6, oba problemy z przywołaniem). Jedna osoba nie wiedziała, czy liczyć naukę w autobusie. Druga miała nietypowy tydzień z kolokwium. Studentka dopisała „licz każdą naukę, także w drodze”. Problem nietypowego tygodnia zostawiła do sprawdzenia w pilotażu, w rozkładzie odpowiedzi. P6 nie spełniła reguły w żadnej rundzie (1/8 i 1/6), ale w obu rundach problem miał to samo źródło. Telefon da się schować, nie wychodząc z pokoju: do plecaka albo szuflady. Studentka zmieniła brzmienie na „odkładam telefon tak, żebym go nie widział(a), np. do innego pokoju albo do plecaka”. Reguła decyzji wskazuje minimum. Gdy ten sam problem wraca w kolejnych rundach, popraw pozycję także wtedy, gdy liczby są małe.

Po dwóch drobnych zmianach studentka nie zrobiła trzeciej rundy wywiadów. Uznała, że wystarczy sprawdzić P5 i P6 w pilotażu. Takie uzasadnienie wpisz do tabeli zmian.

Krok 10. Przejdź do pilotażu

Wywiady poznawcze dają dane jakościowe o tym, jak ludzie rozumieją pytania. Nie powiedzą Ci, ile trwa wypełnianie, czy filtry działają, czy rozkłady są skrajne i ile jest braków. To sprawdza pilotaż w docelowej formie, na kilkudziesięciu osobach spoza wywiadów. Co analizować w danych z pilotażu, opisuje poradnik o badaniu pilotażowym. Przy P5 sprawdź wartości skrajne, a przy pozycjach Likerta efekt sufitu i podłogi.

Połączenie wywiadów poznawczych z pilotażem jest małym badaniem mieszanym: dane jakościowe zmieniają narzędzie, a dane ilościowe sprawdzają skutek zmian. Schematy takich badań opisuje wpis o badaniach mieszanych. Gdy pracujesz na przekładzie gotowej skali, wywiady są jednym z etapów adaptacji kulturowej kwestionariusza. Wtedy rozmówcy porównują też wersję polską z intencją oryginału.

Jak opisać wywiady poznawcze w pracy

Opis wywiadów poznawczych trafia do rozdziału metodologicznego, do części o narzędziu (zob. rozdział metodologiczny i opis narzędzia badawczego). Boeije i Willis (2013) zauważyli, że raporty z wywiadów poznawczych często pomijają kluczowe szczegóły procedury. Dlatego zaproponowali listę kontrolną CIRF (Cognitive Interviewing Reporting Framework). W pracy dyplomowej wystarczy, że podasz:

• cel wywiadów i sprawdzane pozycje;
• liczbę rund i osób w każdej rundzie oraz sposób doboru;
• technikę (sondowanie, głośne myślenie, moment sondowania) i formę (osobiście, online, urządzenie);
• sposób dokumentowania i kodowania, z informacją o drugiej osobie kodującej;
• regułę decyzji, główne problemy i zmiany;
• wynik sprawdzenia zmian i informację, że uczestnicy nie brali udziału w dalszych etapach.

Wywiady poznawcze dostarczają też argumentów za trafnością pomiaru. Peterson i in. (2017) opisują je jako źródło dowodów trafności opartych na treści i na procesach odpowiadania. Wzór akapitu z liczbami z przykładu:

Do aneksu dołącz tabelę z wersjami pozycji przed poprawkami i po nich oraz zliczenie problemów (jak Tabela 1). Pełnych transkrypcji nie dołączaj, bo mogą pozwolić rozpoznać rozmówców. Jeśli opis wywiadów i pilotażu chcesz z kimś skonsultować, zanim oddasz rozdział promotorowi, sprawdź ofertę analiz statystycznych dla studentów. Sprawdzimy plan i obliczenia. Decyzje o pytaniach i ich opis pozostają Twoje i musisz umieć je wyjaśnić na obronie.

# B98 – zliczenie problemów wykrytych w wywiadach poznawczych, pozycja po pozycji
# Przykład: ankieta „Telefon w czasie nauki” (TwN, 8 pozycji, ankieta własna do pracy licencjackiej).
# Arkusz kodowania jest przykładowy (fikcyjne notatki z 8 wywiadów w rundzie 1 i 6 w rundzie 2).
# Jeden wiersz = jeden problem zauważony u jednej osoby przy jednej pozycji.
# etap: R = rozumienie, P = przywołanie, S = sąd, O = wybór odpowiedzi; waga: poważny / drobny
kod <- read.csv(text = '
runda,wywiad,pozycja,etap,waga,notatka
1,W01,P1,P,drobny,"nie wie, jaki okres obejmuje „w ostatnim czasie”"
1,W02,P1,O,drobny,"„często” i „bardzo często” to dla niej to samo"
1,W04,P1,P,poważny,"myśli o sesji, a nie o całym semestrze"
1,W05,P1,O,drobny,"waha się między „często” a „zawsze”"
1,W07,P1,P,drobny,"pyta, czy liczyć weekend"
1,W01,P2,R,poważny,"czat grupy z roku liczy jako naukę"
1,W03,P2,R,drobny,"nie wie, czy słownik w telefonie to nauka"
1,W06,P2,R,poważny,"muzykę do nauki liczy jako cel związany z nauką"
1,W08,P2,R,drobny,"pyta, co znaczy „cele związane z nauką”"
1,W02,P3,S,poważny,"rozpraszają tak, ale efektywność nie spada"
1,W03,P3,S,drobny,"odpowiada tylko na pierwszą część"
1,W05,P3,S,poważny,"ma dwie różne odpowiedzi w jednym pytaniu"
1,W06,P3,O,drobny,"wybiera środek skali, bo nie wie, do której części się odnieść"
1,W08,P3,S,drobny,"pyta, których powiadomień dotyczy pytanie"
1,W01,P4,R,poważny,"podwójne przeczenie odwraca sens pytania"
1,W03,P4,R,poważny,"zaznacza odwrotnie, niż myśli"
1,W04,P4,R,drobny,"czyta pytanie trzy razy"
1,W05,P4,R,drobny,"prosi o powtórzenie"
1,W07,P4,R,poważny,"nie potrafi sparafrazować pytania"
1,W08,P4,O,drobny,"nie wie, czy „nigdy” znaczy, że sprawdza telefon"
1,W02,P5,P,drobny,"liczy tylko dni przed kolokwium"
1,W04,P5,S,drobny,"szacuje bez liczenia"
1,W06,P5,P,drobny,"nie wie, czy wliczyć zajęcia online"
1,W07,P5,S,drobny,"podaje wartość, „jaka wypada”"
1,W05,P6,R,drobny,"mieszka w jednym pokoju w akademiku"
1,W03,P7,S,drobny,"pytanie krępujące, odpowiada ostrożnie"
2,W10,P1,O,drobny,"waha się przy kategorii 6–10 razy"
2,W11,P2,R,drobny,"pyta, czy e-mail od promotora to nauka"
2,W09,P5,P,drobny,"nie wie, czy liczyć naukę w autobusie"
2,W13,P5,P,drobny,"ostatni tydzień był nietypowy (kolokwium)"
2,W12,P6,R,drobny,"odkłada telefon do plecaka, nie do innego pokoju"
')
kod$etap <- factor(kod$etap, levels = c("R", "P", "S", "O"))
pozycje <- paste0("P", 1:8)
n_wywiadow <- c(`1` = 8, `2` = 6)

zlicz <- function(r) {
  d <- kod[kod$runda == r, ]
  osoby <- tapply(d$wywiad, factor(d$pozycja, levels = pozycje), function(x) length(unique(x)))
  osoby[is.na(osoby)] <- 0
  powazne <- tapply(d$waga == "poważny", factor(d$pozycja, levels = pozycje), sum); powazne[is.na(powazne)] <- 0
  etapy <- as.data.frame.matrix(table(factor(d$pozycja, levels = pozycje), d$etap))
  wynik <- data.frame(pozycja = pozycje, etapy, osoby = as.vector(osoby),
                      procent = round(100 * as.vector(osoby) / n_wywiadow[as.character(r)], 1),
                      powazne = as.vector(powazne))
  # reguła z protokołu: przejrzyj i popraw pozycję, gdy problem pojawił się w co najmniej 2 wywiadach
  # albo gdy choć raz był poważny (zmieniał sens odpowiedzi)
  wynik$do_poprawy <- wynik$osoby >= 2 | wynik$powazne >= 1
  wynik
}
r1 <- zlicz(1); r2 <- zlicz(2)
cat("Runda 1 (n = 8 wywiadów): liczba osób z problemem przy pozycji\n"); print(r1, row.names = FALSE)
cat("\nRunda 2 (n = 6 wywiadów, pozycje po poprawkach)\n"); print(r2, row.names = FALSE)
cat("\nZapisane problemy: runda 1 =", sum(kod$runda == 1), " runda 2 =", sum(kod$runda == 2), "\n")
cat("Pozycje do poprawy po rundzie 1:", paste(r1$pozycja[r1$do_poprawy], collapse = ", "), "\n")
cat("Pozycje oznaczone po rundzie 2:", paste(r2$pozycja[r2$do_poprawy], collapse = ", "), "\n")
cat("\nProblemy według etapu odpowiadania (runda 1):\n"); print(table(kod$etap[kod$runda == 1]))
cat("Odsetek problemów z etapu rozumienia w rundzie 1:", round(100 * mean(kod$etap[kod$runda == 1] == "R"), 1), "%\n")
cat("Poważne problemy: runda 1 =", sum(kod$waga[kod$runda == 1] == "poważny"),
    " runda 2 =", sum(kod$waga[kod$runda == 2] == "poważny"), "\n")

# Zgodność dwóch osób kodujących w rundzie 1: czy w danym wywiadzie przy danej pozycji był problem (tak/nie)
siatka <- expand.grid(wywiad = sprintf("W%02d", 1:8), pozycja = pozycje, stringsAsFactors = FALSE)
k1 <- paste(siatka$wywiad, siatka$pozycja) %in% paste(kod$wywiad, kod$pozycja)[kod$runda == 1]
k2 <- k1
k2[paste(siatka$wywiad, siatka$pozycja) %in% c("W05 P7", "W02 P6")] <- TRUE    # druga osoba dopisała dwa problemy
k2[paste(siatka$wywiad, siatka$pozycja) %in% c("W07 P1", "W06 P5")] <- FALSE   # i nie zauważyła dwóch innych
cat("\nKomórki wywiad × pozycja:", length(k1), " problem według osoby 1:", sum(k1), " według osoby 2:", sum(k2), "\n")
print(table(osoba1 = k1, osoba2 = k2))
cat("Zgodność procentowa:", round(100 * mean(k1 == k2), 1), "%\n")
kap <- psych::cohen.kappa(cbind(as.integer(k1), as.integer(k2)))
print(round(kap$confid[1, ], 2))
write.csv(kod, "../wywiad-poznawczy-arkusz-kodowania.csv", row.names = FALSE, fileEncoding = "UTF-8")

Runda 1 (n = 8 wywiadów): liczba osób z problemem przy pozycji
 pozycja R P S O osoby procent powazne do_poprawy
      P1 0 3 0 2     5    62.5       1       TRUE
      P2 4 0 0 0     4    50.0       2       TRUE
      P3 0 0 4 1     5    62.5       2       TRUE
      P4 5 0 0 1     6    75.0       3       TRUE
      P5 0 2 2 0     4    50.0       0       TRUE
      P6 1 0 0 0     1    12.5       0      FALSE
      P7 0 0 1 0     1    12.5       0      FALSE
      P8 0 0 0 0     0     0.0       0      FALSE

Runda 2 (n = 6 wywiadów, pozycje po poprawkach)
 pozycja R P S O osoby procent powazne do_poprawy
      P1 0 0 0 1     1    16.7       0      FALSE
      P2 1 0 0 0     1    16.7       0      FALSE
      P3 0 0 0 0     0     0.0       0      FALSE
      P4 0 0 0 0     0     0.0       0      FALSE
      P5 0 2 0 0     2    33.3       0       TRUE
      P6 1 0 0 0     1    16.7       0      FALSE
      P7 0 0 0 0     0     0.0       0      FALSE
      P8 0 0 0 0     0     0.0       0      FALSE

Zapisane problemy: runda 1 = 26  runda 2 = 5 
Pozycje do poprawy po rundzie 1: P1, P2, P3, P4, P5 
Pozycje oznaczone po rundzie 2: P5 

Problemy według etapu odpowiadania (runda 1):

 R  P  S  O 
10  5  7  4 
Odsetek problemów z etapu rozumienia w rundzie 1: 38.5 %
Poważne problemy: runda 1 = 8  runda 2 = 0 

Komórki wywiad × pozycja: 64  problem według osoby 1: 26  według osoby 2: 26 
       osoba2
osoba1  FALSE TRUE
  FALSE    36    2
  TRUE      2   24
Zgodność procentowa: 93.8 %
   lower estimate    upper 
    0.75     0.87     0.99

Najczęstsze błędy w projekcie wywiadów poznawczych

• Reguła decyzji ustalona po fakcie. Gdy próg wymyślasz po zobaczeniu wyników, łatwo „uratować” pozycje, które lubisz. Zapisz regułę w protokole przed pierwszą rozmową.
• Procenty jako wynik. Zdanie „75% respondentów nie rozumiało pozycji 4” sugeruje oszacowanie dla populacji. Przy 8 rozmowach napisz „6 z 8 osób” i opisz, na czym polegał problem.
• Wyjaśnianie pytań w trakcie wywiadu. Respondent, któremu wytłumaczyłeś pytanie, nie pokaże już problemu, który w ankiecie zostanie.
• Sondowanie własnych podejrzeń zamiast tego, co mówi respondent. Prowadzi do fałszywych alarmów (Conrad i Blair, 2009).
• Kilka zmian naraz bez zapisu. Jeśli w P1 zmieniasz jednocześnie okres, kategorie i szyk, zapisz każdą zmianę w tabeli zmian. Inaczej nie wyjaśnisz w pracy, co i dlaczego poprawiłaś.
• Wywiady na innym urządzeniu niż badanie. Ankieta czytana na wydruku działa inaczej niż ta sama ankieta na małym ekranie.
• Usunięcie trudnej pozycji zamiast poprawy. Gdy pozycja jest potrzebna dla treści konstruktu, usunięcie zubaża pomiar. Usuwaj tylko z uzasadnieniem merytorycznym.
• Brak drugiej rundy albo pilotażu po poprawkach. Poprawiona wersja może rodzić nowe problemy (Lenzner i in., 2023).
• Wywiady po zebraniu danych. Wywiad poznawczy przeprowadzony po badaniu głównym nie pomoże już poprawić pytań. Może najwyżej pomóc w interpretacji wyników, a to inny cel.

Pełne kompendium metody to podręcznik Willisa (2005). W pracy dyplomowej wystarczy opisany tu schemat: protokół, rundy, arkusz, reguła, poprawki i pilotaż. Kolejność pracy nad całą ankietą, od pytań badawczych po rekrutację, pokazuje poradnik jak zrobić ankietę do pracy dyplomowej.

Najczęstsze pytania

Jak zrobić protokół wywiadu poznawczego?

Protokół ma zwykle metryczkę wywiadu, tekst wprowadzenia, rozgrzewkę do głośnego myślenia, listę pozycji z 1–3 zaplanowanymi pytaniami sondującymi, pytania końcowe, arkusz kodowania i regułę decyzji. Wzór z przykładowymi pytaniami możesz pobrać jako plik Word.

Jak analizować wyniki wywiadów poznawczych?

Zbierz notatki do każdej pozycji ze wszystkich rozmów, szukaj powtarzających się wątków i miejsc, w których rozumienie odbiega od Twojej intencji (Willis i Artino, 2013). Wygodnie jest zapisać każdy problem w arkuszu z kodem etapu odpowiadania i wagi, a potem policzyć, u ilu osób wystąpił przy każdej pozycji.

Czy wyniki wywiadów poznawczych podaje się w procentach?

Lepiej nie. Przy kilku rozmowach procent sugeruje oszacowanie dla populacji, którego tu nie ma. Napisz „6 z 8 osób” i opisz, na czym polegał problem. Zliczenia służą do ustalenia, które pozycje omówić najpierw.

Kiedy poprawić pytanie po wywiadach poznawczych?

Ustal regułę przed rozmowami, np. poprawka, gdy problem wystąpił w co najmniej dwóch wywiadach albo choć raz zmienił sens odpowiedzi. Traktuj ją jako minimum. Jeśli ten sam drobny problem wraca w kolejnych rundach, popraw pozycję mimo małych liczb, a każdą poprawkę sprawdź w następnej rundzie lub w pilotażu.

Czy wywiady poznawcze powinna kodować druga osoba?

Warto, bo zgodność ocen, czy w wywiadzie wystąpił problem, bywa niska (Conrad i Blair, 2009). Poproś drugą osobę o niezależne zakodowanie przynajmniej jednej rundy, policz zgodność i omówcie rozbieżności. Najważniejsze jest doprecyzowanie klucza kodowania, a nie sam współczynnik.

Czy głośne myślenie jest konieczne w wywiadzie poznawczym?

Nie. W pracy dyplomowej zwykle wystarcza sondowanie werbalne z elementami głośnego myślenia. W badaniu Priede i Farralla (2011) sondowanie wykryło więcej problemów, a ostateczne poprawki pytań po obu technikach prawie się nie różniły.

Powiązane hasła

Przeczytaj też

@article{beatty2007research, author={Beatty, Paul C. and Willis, Gordon B.}, title={{Research synthesis: The practice of cognitive interviewing}}, journal={Public Opinion Quarterly}, year={2007}, volume={71}, number={2}, pages={287--311}, doi={10.1093/poq/nfm006}}

@article{blair2011sample, author={Blair, Johnny and Conrad, Frederick G.}, title={{Sample size for cognitive interview pretesting}}, journal={Public Opinion Quarterly}, year={2011}, volume={75}, number={4}, pages={636--658}, doi={10.1093/poq/nfr035}}

@article{boeije2013cognitive, author={Boeije, Hennie and Willis, Gordon}, title={{The Cognitive Interviewing Reporting Framework (CIRF): Towards the harmonization of cognitive testing reports}}, journal={Methodology}, year={2013}, volume={9}, number={3}, pages={87--95}, doi={10.1027/1614-2241/a000075}}

@article{conrad2009sources, author={Conrad, Frederick G. and Blair, Johnny}, title={{Sources of error in cognitive interviews}}, journal={Public Opinion Quarterly}, year={2009}, volume={73}, number={1}, pages={32--55}, doi={10.1093/poq/nfp013}}

@article{knafl2007analysis, author={Knafl, Kathleen and Deatrick, Janet and Gallo, Agatha and Holcombe, Gwynne and Bakitas, Marie and Dixon, Jane and Grey, Margaret}, title={{The analysis and interpretation of cognitive interviews for instrument development}}, journal={Research in Nursing \& Health}, year={2007}, volume={30}, number={2}, pages={224--234}, doi={10.1002/nur.20195}}

@article{lenzner2023experimental, author={Lenzner, Timo and Hadler, Patricia and Neuert, Cornelia}, title={{An experimental test of the effectiveness of cognitive interviewing in pretesting questionnaires}}, journal={Quality \& Quantity}, year={2023}, volume={57}, number={4}, pages={3199--3217}, doi={10.1007/s11135-022-01489-4}}

@techreport{lenzner2016cognitive, author={Lenzner, Timo and Neuert, Cornelia and Otto, Wanda}, title={{Cognitive pretesting}}, year={2016}, institution={GESIS – Leibniz Institute for the Social Sciences}, doi={10.15465/gesis-sg_en_010}}

@article{perneger2015sample, author={Perneger, Thomas V. and Courvoisier, Delphine S. and Hudelson, Patricia M. and Gayet-Ageron, Angèle}, title={{Sample size for pre-tests of questionnaires}}, journal={Quality of Life Research}, year={2015}, volume={24}, number={1}, pages={147--151}, doi={10.1007/s11136-014-0752-2}}

@article{peterson2017cognitive, author={Peterson, Christina Hamme and Peterson, N. Andrew and Powell, Kristen Gilmore}, title={{Cognitive interviewing for item development: Validity evidence based on content and response processes}}, journal={Measurement and Evaluation in Counseling and Development}, year={2017}, volume={50}, number={4}, pages={217--223}, doi={10.1080/07481756.2017.1339564}}

@article{presser2004methods, author={Presser, Stanley and Couper, Mick P. and Lessler, Judith T. and Martin, Elizabeth and Martin, Jean and Rothgeb, Jennifer M. and Singer, Eleanor}, title={{Methods for testing and evaluating survey questions}}, journal={Public Opinion Quarterly}, year={2004}, volume={68}, number={1}, pages={109--130}, doi={10.1093/poq/nfh008}}

@article{priede2011comparing, author={Priede, Camilla and Farrall, Stephen}, title={{Comparing results from different styles of cognitive interviewing: ‘Verbal probing’ vs. ‘thinking aloud’}}, journal={International Journal of Social Research Methodology}, year={2011}, volume={14}, number={4}, pages={271--287}, doi={10.1080/13645579.2010.523187}}

@book{tourangeau2000psychology, author={Tourangeau, Roger and Rips, Lance J. and Rasinski, Kenneth}, title={{The psychology of survey response}}, year={2000}, publisher={Cambridge University Press}, doi={10.1017/cbo9780511819322}}

@book{willis2005cognitive, author={Willis, Gordon B.}, title={{Cognitive interviewing: A tool for improving questionnaire design}}, year={2005}, publisher={SAGE Publications}, doi={10.4135/9781412983655}}

@article{willis2013what, author={Willis, Gordon B. and Artino, Jr., Anthony R.}, title={{What do our respondents think we're asking? Using cognitive interviewing to improve medical education surveys}}, journal={Journal of Graduate Medical Education}, year={2013}, volume={5}, number={3}, pages={353--356}, doi={10.4300/jgme-d-13-00154.1}}