Metodologia · Przewodnik

Ankiety i eksperymenty – przewodnik: od pytania badawczego do analizy danych

Osiem etapów projektowania ankiety i eksperymentu – schemat badania, pytania i manipulacja, randomizacja, etyka, pilotaż, rekrutacja, czyszczenie danych i analiza – z linkami do poradników, haseł słownika i kalkulatorów.

Strona główna / Blog / Przewodnik: ankiety i eksperymenty
W skrócie: Ankietę i eksperyment projektuje się od problemu i hipotez, a nie od formularza. Wybór schematu przesądza o wnioskach: jedna ankieta pokaże związki, a wniosek przyczynowy uzasadnia dopiero manipulacja z losowym przydziałem do warunków. Przed badaniem właściwym przeprowadź wywiady poznawcze i pilotaż, policz liczebność próby, a reguły czyszczenia danych i wykluczeń zapisz przed obejrzeniem wyników.

Dla kogo jest ten przewodnik i jak z niego korzystać

Przewodnik jest dla osób, które planują własne badanie: ankietę do pracy licencjackiej lub magisterskiej, prosty eksperyment z dwoma warunkami albo eksperyment winietowy wbudowany w ankietę online. Na tym etapie najwięcej kosztują błędy popełnione przed zebraniem danych. Pytania o dwie rzeczy naraz, brak grupy kontrolnej czy kryteria wykluczeń wymyślone po fakcie trudno potem naprawić analizą. Dlatego ta ścieżka kończy się na analizie, ale zaczyna dużo wcześniej.

Strona porządkuje to, co jest już w serwisie: poradniki krok po kroku, hasła słownika i kalkulatory. Rysunek 1 pokazuje osiem etapów. Ankieta i eksperyment mają wspólny początek, potem idą osobnymi torami przy projektowaniu narzędzia i warunków, a od etapu etyki znów biegną razem. Przy każdym etapie znajdziesz kilka zdań o tym, co zrobić, i listę stron z krótkim opisem. Jeśli szukasz odpowiedzi na konkretny kłopot, przejdź do tabeli „mam problem → przeczytaj”.

Schemat ośmiu etapów badania: 1. problem, pytania i hipotezy; dalej dwa tory – ankieta (2. operacjonalizacja i dobór skal, 3. pytania, kafeterie i układ ankiety) oraz eksperyment (2. warunki i manipulacja, 3. losowy przydział, kontrola i zaślepienie); tory łączą się w etapie 4. zgoda etyczna, świadoma zgoda i RODO; potem wspólnie 5. wywiad poznawczy i pilotaż, 6. liczebność próby i rekrutacja, 7. czyszczenie i kodowanie danych, 8. analiza i raport wyników.
Rysunek 1. Ścieżka badania ankietowego i eksperymentalnego. Niebieski tor dotyczy ankiety, czerwony – eksperymentu; etapy w szarych polach są wspólne. Numery odpowiadają sekcjom przewodnika.

Etap 1. Problem, pytania badawcze i wybór schematu

Zacznij od tego, czego nie wiadomo, a nie od formularza. Z problemu wyprowadź pytania i hipotezy, a z nich – schemat badania. Ten wybór przesądza o tym, co wolno będzie napisać w dyskusji. Ankieta z jednym pomiarem to zwykle schemat korelacyjny i przekrojowy: pokaże związki, ale nie wpływ. Wniosek przyczynowy uzasadnia dopiero manipulacja zmienną niezależną z losowym przydziałem do warunków. Jeśli przydział losowy jest niemożliwy, masz quasi-eksperyment i musisz zaplanować, czym zastąpisz losowanie.

Etap 2. Narzędzie albo warunki eksperymentalne

Tor ankiety: operacjonalizacja i dobór skal

Każdą zmienną z hipotez zamień na wskaźnik: konkretny kwestionariusz, skalę albo pytanie. Tam, gdzie istnieje zwalidowane narzędzie z polską adaptacją, użyj go zamiast pisać własne pytania. Ułatwi to opis rzetelności i porównanie wyników z literaturą. Własne pytania zostaw na zmienne, dla których narzędzia nie ma, i od razu zaplanuj, jak policzysz z nich wynik.

Tor eksperymentu: warunki i manipulacja

Zdecyduj, czym różnią się warunki, i zadbaj, żeby różniły się tylko tym. Manipulacja ma być na tyle silna, żeby zmienić stan, o który chodzi, i na tyle wąska, żeby nie zmieniać przy okazji czegoś innego. Wybierz, czy każda osoba przejdzie jeden warunek, czy wszystkie. Zaplanuj też sprawdzenie manipulacji i z góry ustal, co zrobisz z jego wynikiem. Wykluczanie osób, które „nie zaliczyły” sprawdzenia po przydziale do warunku, może poważnie obciążyć oszacowanie efektu (Aronow i in., 2019).

Etap 3. Pytania i układ ankiety albo kontrola w eksperymencie

Tor ankiety: pytania, kafeterie i kolejność

Respondent czyta pytania tak, jak czyta zwykłą rozmowę, a gdy odpowiedź wymaga wysiłku, część osób zadowala się odpowiedzią „wystarczającą” (Krosnick, 1999). Dlatego każde pytanie ma dotyczyć jednej rzeczy, być neutralne i mieć rozłączną, wyczerpującą kafeterię. Kolejność pytań i odpowiedzi też wpływa na wynik. Pytaj od ogólnych do szczegółowych, losuj kolejność długich list, a metryczkę daj na koniec. Pytania drażliwe formułuj tak, żeby odpowiedź niepożądana społecznie była łatwa do udzielenia.

Do tego etapu przydadzą się też hasła o odpowiedzi „nie wiem”, efekcie kolejności odpowiedzi, pytaniach o płeć i wiek, tendencji do zgadzania się, aprobacie społecznej i stylach odpowiedzi skrajnych i środkowych.

Tor eksperymentu: przydział losowy, kolejność i zaślepienie

Losowy przydział sprawia, że grupy różnią się na starcie tylko przypadkowo. W małej próbie użyj randomizacji blokowej, żeby grupy miały równe liczebności. Gdy te same osoby przechodzą kilka warunków, zrównoważ ich kolejność i zastanów się, czy wcześniejszy warunek nie wpłynie na następny. Ogranicz też wpływ oczekiwań: badacza, który zna hipotezę, i uczestnika, który domyśla się celu badania.

Etap 4. Etyka, świadoma zgoda i ochrona danych

Zanim zbierzesz pierwszą odpowiedź, także w pilotażu, sprawdź, czy badanie wymaga zgody komisji etycznej. Zależy to od rodzaju badania i od regulaminu Twojej uczelni. Na pierwszej stronie ankiety uczestnik musi dostać zrozumiałą informację o celu, czasie, ryzyku, prawie do rezygnacji i ochronie danych. Jeśli w eksperymencie ukrywasz prawdziwy cel, zaplanuj debriefing. Dobrym zwyczajem jest też zapisanie hipotez i reguł analizy przed zebraniem danych.

Etap 5. Wywiad poznawczy i pilotaż

Pretest odpowiada na pytanie, czy narzędzie i procedura działają, a nie na pytanie, czy hipotezy się potwierdzą. Najpierw przeprowadź kilka wywiadów poznawczych: respondent odpowiada na robocze pytania, a Ty sprawdzasz, jak je rozumie i jak dochodzi do odpowiedzi (Beatty i Willis, 2007). Po poprawkach zrób pilotaż na małej grupie z populacji docelowej. Sprawdź w nim czas wypełniania, działanie logiki przejść, eksport danych, rozkłady odpowiedzi i braki. W eksperymencie pilotaż pokaże też, czy manipulacja w ogóle działa. Nie licz liczebności badania właściwego z efektu uzyskanego w pilotażu: oszacowania z małej próby są nieprecyzyjne, a analiza mocy oparta na nich prowadzi zwykle do badań o zbyt małej mocy (Albers i Lakens, 2018).

Etap 6. Liczebność próby i rekrutacja

Liczebność wynika z głównej analizy: inna jest potrzebna do oszacowania odsetka z zadanym marginesem błędu, inna do korelacji, a inna do porównania dwóch warunków eksperymentu. Policz ją przed badaniem i dolicz zapas na osoby, które odpadną przy czyszczeniu danych. Potem zaplanuj, gdzie znajdziesz respondentów, i opisz dobór uczciwie. Próba wygodna z mediów społecznościowych nie jest reprezentatywna, ale dla badań związków bywa wystarczająca, jeśli dyskusja nie wychodzi poza zbadaną grupę. Sam niski odsetek odpowiedzi nie przekreśla badania, choć błąd braku odpowiedzi trzeba omówić (Krosnick, 1999). W ankiecie internetowej raportuj sposób rekrutacji i przebieg zbierania odpowiedzi według listy CHERRIES (Eysenbach, 2004).

Etap 7. Czyszczenie i kodowanie danych

Reguły czyszczenia ustal przed obejrzeniem wyników: kogo usuwasz (duplikaty, osoby spoza kryteriów, bez zgody, zbyt szybkie, nieuważne) i w jakiej kolejności. Nie opieraj się na jednym wskaźniku. Jedno pytanie kontrolne nie wystarcza do oceny uwagi, a osoby, które go nie zaliczają, różnią się cechami od pozostałych, więc ich usunięcie ogranicza uogólnianie wyników (Berinsky i in., 2014). Zapisz liczbę osób usuniętych na każdym kroku. Zanim policzysz cokolwiek, zamień surowy eksport w uporządkowaną bazę z książką kodową.

Etap 8. Analiza i raport wyników

Analiza ankiety ma stałą kolejność: wyniki skal po odwróceniu pozycji, ich rzetelność, opis próby i dopiero potem testy hipotez. W eksperymencie zacznij od sprawdzenia manipulacji i porównania grup na starcie, a efekt warunku oceniaj z wielkością efektu i przedziałem ufności. Pytania otwarte wymagają osobnej procedury: klucza kategorii i kodowania przez dwie osoby. Na koniec opisz próbę i każdy etap tak, żeby czytelnik mógł ocenić, komu i w jakich warunkach można przypisać wyniki. Dobór testu do każdej hipotezy omawia osobny przewodnik po testach (link na końcu strony).

Przy badaniu z pomiarem przed i po w dwóch grupach zajrzyj do poradnika o ANCOVA w badaniu interwencyjnym, a gdy łączysz dane z różnych źródeł lub metod – do tekstu o triangulacji w badaniach.

Mam problem → przeczytaj

Najczęstsze pytania osób, które projektują ankietę lub eksperyment, i strony, od których warto zacząć.

Typowe problemy przy projektowaniu ankiety i eksperymentu oraz strony, które je rozwiązują
Mam problemPrzeczytaj
Nie wiem, czy moje badanie to eksperyment, czy badanie korelacyjne.Schemat eksperymentalny
Chcę zbadać wpływ, ale mam tylko jedną ankietę.Korelacja a przyczynowość
Nie wiem, czy mogę użyć cudzego kwestionariusza.Gdzie znaleźć kwestionariusze psychologiczne
Promotor uważa, że moje pytania są sugerujące.Najczęstsze błędy w ankietach
Ile osób muszę zbadać?Liczebność próby w ankiecie
Nie mam pomysłu, gdzie znaleźć respondentów.Gdzie znaleźć respondentów do ankiety?
Każdy uczestnik przechodzi wszystkie warunki – jak ustalić kolejność?Kontrbalansowanie
Nie mogę losowo przydzielić osób do grup.Schemat quasi-eksperymentalny
Część osób nie zaliczyła sprawdzenia manipulacji.Sprawdzenie manipulacji
Czy muszę mieć zgodę komisji etycznej?Zgoda komisji bioetycznej
Ile osób zbadać w pilotażu i co w nim sprawdzić?Badanie pilotażowe
W danych są osoby, które klikały na oślep.Nieuważne odpowiedzi w ankietach online
Eksport z Google Forms ma słowa zamiast liczb.Dane z Google Forms i LimeSurvey
Mam dużo odpowiedzi na pytanie otwarte.Analiza treści pytań otwartych
Ile osób muszę przebadać do licencjatu?Ile osób do ankiety?
Część respondentów pominęła pytania.Braki danych w ankiecie
Mam dane z dwóch fal albo dwóch formularzy.Jak połączyć dwie bazy danych
Zamiast ankiety chcę przeprowadzić wywiady.Wywiad pogłębiony w pracy dyplomowej
Mam transkrypcje i nie wiem, jak je kodować.Analiza tematyczna krok po kroku
Próba nie odpowiada strukturze populacji.Ważenie danych sondażowych
Mam setki odpowiedzi otwartych.Analiza tekstu odpowiedzi otwartych w R
Jak pokazać odpowiedzi na skali Likerta?Odpowiedzi Likerta w raporcie
Planuję próbę do ankiety albo eksperymentu online.Dobór próby w pracy
Planuję obserwację zachowań zamiast ankiety.Obserwacja jako metoda badawcza
Jak losowo przydzielić uczestników eksperymentu?Randomizacja w praktyce

Najważniejsze hasła ze słownika

Hasła spoza ścieżki, które warto znać przy projektowaniu badania. Każde ma definicję, przykład i wskazówkę, jak opisać decyzję w pracy.

Schematy badań

Eksperyment i interwencja

Skale i pomiar w ankiecie

Dobór próby i wnioskowanie o populacji

Kalkulatory

Kiedy warto skorzystać z pomocy

Zaprojektowanie prostej ankiety czy eksperymentu z dwoma warunkami jest w zasięgu każdej osoby piszącej pracę. Druga para oczu przydaje się przy planach, w których łatwo o błąd trudny do naprawienia po zebraniu danych: plan czynnikowy z interakcją, warunki wewnątrzobiektowe, quasi-eksperyment albo liczebność, którą trzeba uzasadnić przy małej dostępnej populacji. Możemy wtedy przejrzeć projekt przed pilotażem, a po zebraniu danych wykonać analizę statystyczną do pracy i wyjaśnić wyniki tak, żebyś umiał(a) je opisać i obronić samodzielnie.

Inne przewodniki w serwisie: testy statystyczne – przewodnik po wyborze, analiza kwestionariusza i statystyka w pracy dyplomowej.

Najczęstsze pytania

Czy ankieta w pracy dyplomowej może być eksperymentem?

Tak, jeśli w ankiecie losowo przydzielasz osoby do wersji różniących się jednym elementem, np. treścią opisu sytuacji, i porównujesz odpowiedzi między wersjami. Tak działa eksperyment winietowy. Bez losowego przydziału ankieta pozostaje badaniem korelacyjnym i wnioski przyczynowe nie są uprawnione.

W jakiej kolejności projektować ankietę do badania?

Najpierw problem, hipotezy i lista zmiennych, potem dobór gotowych skal i własnych pytań, dalej układ ankiety, informacja o badaniu i zgoda. Następnie wywiady poznawcze, pilotaż i dopiero wtedy rekrutacja. Książkę kodową i reguły czyszczenia danych przygotuj przed zebraniem odpowiedzi, nie po nim.

Czy eksperyment do pracy magisterskiej musi mieć grupę kontrolną?

Potrzebny jest warunek porównawczy: grupa kontrolna albo inny warunek eksperymentalny, z którym porównasz wynik. Bez niego nie da się oddzielić efektu manipulacji od zmian, które zaszłyby i tak, np. regresji do średniej czy efektu powtórnego pomiaru. W schemacie wewnątrzobiektowym rolę kontroli pełni warunek, który przechodzą te same osoby.

Co zrobić, gdy pilotaż ankiety wykazał problemy z pytaniami?

Popraw pytania, które respondenci rozumieli inaczej, niż zakładałeś, i sprawdź poprawioną wersję na kilku nowych osobach. Dane z pilotażu zwykle nie wchodzą do analizy głównej, zwłaszcza gdy ankieta się zmieniła. W pracy opisz krótko, co pilotaż wykazał i co zmieniono.

Kiedy usunąć respondenta z danych ankiety online?

Tylko według reguł zapisanych przed analizą: brak zgody, osoba spoza kryteriów udziału, duplikat, skrajnie krótki czas wypełniania albo kilka sygnałów nieuważności naraz. Nie usuwaj osób dlatego, że ich odpowiedzi nie pasują do hipotezy. W pracy podaj liczbę osób usuniętych na każdym kroku i końcową liczebność.

Powiązane hasła

Przeczytaj też

Masz projekt ankiety albo eksperymentu i chcesz go sprawdzić przed zbieraniem danych?

Przejrzymy schemat badania i plan analizy, a po zebraniu danych wykonamy analizę i wyjaśnimy wyniki tak, żebyś umiał(a) je opisać i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Albers, C., & Lakens, D. (2018). When power analyses based on pilot data are biased: Inaccurate effect size estimators and follow-up bias. Journal of Experimental Social Psychology, 74, 187–195. https://doi.org/10.1016/j.jesp.2017.09.004 ● Otwarty dostęp
  2. Aronow, P. M., Baron, J., & Pinson, L. (2019). A note on dropping experimental subjects who fail a manipulation check. Political Analysis, 27(4), 572–589. https://doi.org/10.1017/pan.2019.5
  3. Beatty, P. C., & Willis, G. B. (2007). Research synthesis: The practice of cognitive interviewing. Public Opinion Quarterly, 71(2), 287–311. https://doi.org/10.1093/poq/nfm006 ● Otwarty dostęp
  4. Berinsky, A. J., Margolis, M. F., & Sances, M. W. (2014). Separating the shirkers from the workers? Making sure respondents pay attention on self-administered surveys. American Journal of Political Science, 58(3), 739–753. https://doi.org/10.1111/ajps.12081
  5. Eysenbach, G. (2004). Improving the quality of web surveys: The Checklist for Reporting Results of Internet E-Surveys (CHERRIES). Journal of Medical Internet Research, 6(3), Article e34. https://doi.org/10.2196/jmir.6.3.e34 ● Otwarty dostęp
  6. Krosnick, J. A. (1999). Survey research. Annual Review of Psychology, 50(1), 537–567. https://doi.org/10.1146/annurev.psych.50.1.537

Cytowania BibTeX

@article{albers2018power, author={Albers, Casper and Lakens, Daniël}, title={{When power analyses based on pilot data are biased: Inaccurate effect size estimators and follow-up bias}}, journal={Journal of Experimental Social Psychology}, year={2018}, volume={74}, pages={187--195}, doi={10.1016/j.jesp.2017.09.004}}
@article{aronow2019note, author={Aronow, Peter M. and Baron, Jonathon and Pinson, Lauren}, title={{A note on dropping experimental subjects who fail a manipulation check}}, journal={Political Analysis}, year={2019}, volume={27}, number={4}, pages={572--589}, doi={10.1017/pan.2019.5}}
@article{beatty2007research, author={Beatty, Paul C. and Willis, Gordon B.}, title={{Research synthesis: The practice of cognitive interviewing}}, journal={Public Opinion Quarterly}, year={2007}, volume={71}, number={2}, pages={287--311}, doi={10.1093/poq/nfm006}}
@article{berinsky2014separating, author={Berinsky, Adam J. and Margolis, Michele F. and Sances, Michael W.}, title={{Separating the shirkers from the workers? Making sure respondents pay attention on self-administered surveys}}, journal={American Journal of Political Science}, year={2014}, volume={58}, number={3}, pages={739--753}, doi={10.1111/ajps.12081}}
@article{eysenbach2004improving, author={Eysenbach, Gunther}, title={{Improving the quality of web surveys: The Checklist for Reporting Results of Internet E-Surveys (CHERRIES)}}, journal={Journal of Medical Internet Research}, year={2004}, volume={6}, number={3}, eid={e34}, doi={10.2196/jmir.6.3.e34}}
@article{krosnick1999survey, author={Krosnick, Jon A.}, title={{Survey research}}, journal={Annual Review of Psychology}, year={1999}, volume={50}, number={1}, pages={537--567}, doi={10.1146/annurev.psych.50.1.537}}
R