Słownik metodologiczny · Plan badania

Badanie pilotażowe – co to jest i czym różni się od badania właściwego?

Badanie pilotażowe to próbna wersja badania, która przed zebraniem właściwych danych sprawdza wykonalność procedury i działanie narzędzia. Krótko wyjaśniamy definicję, cele, liczebność i opis pilotażu w pracy.

Strona główna / Słownik / Badanie pilotażowe
W skrócie: Badanie pilotażowe to mała, próbna wersja badania albo test narzędzia przed badaniem właściwym. Sprawdza wykonalność procedury, zrozumiałość pytań, czas i działanie techniczne – nie testuje hipotez i nie daje wiarygodnego oszacowania wielkości efektu. Szczegółowy poradnik z symulacją i kodem R: badanie pilotażowe – po co, ile osób, co sprawdzić.

Co to jest badanie pilotażowe?

Badanie pilotażowe (pilotaż, ang. pilot study) to mała, próbna wersja badania przeprowadzana przed badaniem właściwym, aby sprawdzić, czy procedura jest wykonalna, a narzędzie działa zgodnie z planem. Termin ma dwa znaczenia: może oznaczać pomniejszoną wersję całego badania (studium wykonalności, ang. feasibility study) albo pretest konkretnego narzędzia, np. kwestionariusza (van Teijlingen i Hundley, 2001).

Najważniejsza cecha pilotażu: nie służy do testowania hipotez. Leon i in. (2011) podkreślają, że pilotaż ocenia wykonalność – rekrutację, losowy przydział do grup w eksperymencie, utrzymanie uczestników w badaniu, procedury pomiaru i realizację interwencji. Ze względu na małą próbę nie daje też sensownego oszacowania wielkości efektu, na którym można by oprzeć planowanie kolejnego badania.

Po co robi się badanie pilotażowe?

Thabane i in. (2010) grupują powody prowadzenia pilotażu w cztery obszary: proces (np. odsetek osób, które zgadzają się na udział i rezygnują), zasoby (np. czas potrzebny na wypełnienie formularzy), zarządzanie (np. problemy z wprowadzaniem danych) oraz kwestie naukowe (np. zmienność wyników). Pilotaż zwiększa szansę powodzenia badania głównego, choć jej nie gwarantuje (van Teijlingen i Hundley, 2001). Różnice między pilotażem a badaniem właściwym zestawiono w tabeli.

Badanie pilotażowe a badanie właściwe – porównanie
CechaBadanie pilotażoweBadanie właściwe
CelSprawdzić wykonalność procedury i działanie narzędziaOdpowiedzieć na pytanie badawcze
LiczebnośćMała, dobrana do celu pilotażuWynika z analizy mocy lub wymaganej precyzji
AnalizaOpisowa: czas, rozkłady odpowiedzi, braki, odsetek ukończeń, problemy z pytaniamiTestowanie hipotez, szacowanie efektów
WynikDecyzja: przerwać, poprawić procedurę albo kontynuowaćWnioski merytoryczne
DaneZwykle nie trafiają do analiz głównychPodstawa wniosków pracy

Ile osób do pilotażu?

Liczebność zależy od celu. Dla pilotażu z porównaniem grup, gdy brak wcześniejszych danych, Julious (2005) rekomenduje 12 osób na grupę i uzasadnia to wykonalnością oraz precyzją oszacowania średniej i wariancji. Dla pretestu kwestionariusza Perneger i in. (2015) rekomendują domyślnie 30 osób: przy problemie dotyczącym 5% respondentów pretest na 10 osobach ma tylko 40% szans na jego wykrycie.

Pełne zestawienie rekomendacji, wykres szansy wykrycia problemu i symulację pokazującą, dlaczego nie warto liczyć mocy testu z efektu z pilotażu, znajdziesz w poradniku badanie pilotażowe: po co, ile osób, co sprawdzić.

Pilotaż ankiety w pracy dyplomowej

W pracy z psychologii pilotaż najczęściej dotyczy ankiety. Poprzedzają go zwykle ocena promotora i kilka wywiadów poznawczych, w których sprawdzasz, jak respondenci rozumieją pytania. W samym pilotażu ankietę wypełniają osoby z populacji docelowej, a Ty sprawdzasz:

  • czy pytania są zrozumiałe i czy nikt nie zgłasza wątpliwości co do odpowiedzi;
  • ile trwa wypełnianie (mediana czasu, a nie najkrótszy czas);
  • czy działają filtry, pola obowiązkowe i widok na telefonie;
  • czy pozycje różnicują osoby (efekt sufitu i podłogi) i czy w którymś pytaniu nie ma wyraźnie więcej braków;
  • czy pozycje skal są ze sobą spójne (spójność wewnętrzna) – pamiętając, że w małej próbie to tylko wstępna ocena.

Miejsce pilotażu w całym procesie przygotowania narzędzia pokazujemy w poradniku jak zrobić ankietę do pracy dyplomowej. W pracy pilotaż opisz w rozdziale metodologicznym, np. tak:

Przed badaniem głównym narzędzie sprawdzono w badaniu pilotażowym na [n] osobach z populacji docelowej, które nie uczestniczyły w badaniu głównym. Na jego podstawie [opis zmian, np. przeformułowano dwie pozycje i dodano pytanie filtrujące]. Danych z pilotażu nie uwzględniono w analizach.

Najczęstsze błędy

  • Pilotaż jako „małe badanie główne” – testowanie w nim hipotez i raportowanie wartości p (Leon i in., 2011).
  • Analiza mocy na podstawie efektu z pilotażu – oszacowanie z małej próby jest zbyt nieprecyzyjne, by na nim planować liczebność.
  • Pilotaż na osobach spoza populacji docelowej – np. na znajomych z seminarium, którzy znają hipotezy.
  • Zdanie „przeprowadzono pilotaż” bez szczegółów – czytelnik powinien wiedzieć, na ilu osobach go zrobiono i co zmieniono; van Teijlingen i Hundley (2001) zachęcają do raportowania, czego pilotaż nauczył badacza.

Najczęstsze pytania

Co to jest badanie pilotażowe?

To mała, próbna wersja badania przeprowadzana przed badaniem właściwym. Sprawdza, czy procedura jest wykonalna i czy narzędzie – np. ankieta – działa zgodnie z planem. Nie służy do testowania hipotez.

Czym różni się badanie pilotażowe od badania właściwego?

Pilotaż odpowiada na pytanie, czy badanie da się przeprowadzić i czy narzędzie działa; badanie właściwe – na pytanie badawcze. Pilotaż ma małą próbę, a jego wynikiem jest decyzja o poprawkach, a nie wnioski merytoryczne (Leon i in., 2011).

Czy w badaniu pilotażowym testuje się hipotezy?

Nie. Małe próby dają bardzo nieprecyzyjne oszacowania efektów, więc istotny lub nieistotny wynik pilotażu niewiele mówi o hipotezie. Pilotaż ocenia wykonalność: rekrutację, procedury pomiaru i działanie narzędzia (Leon i in., 2011).

Co to jest pilotaż ankiety?

To wypełnienie ankiety przez niewielką grupę osób z populacji docelowej przed właściwym zbieraniem danych. Sprawdza się w nim zrozumiałość pytań, czas wypełniania, działanie filtrów, rozkłady odpowiedzi i braki danych.

Ile osób powinno wziąć udział w pilotażu?

To zależy od celu. Do pretestu kwestionariusza Perneger i in. (2015) rekomendują domyślnie 30 osób, a w pilotażu z porównaniem grup Julious (2005) – 12 osób na grupę. Uzasadnienie tych liczb znajdziesz w poradniku o badaniu pilotażowym.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Julious, S. A. (2005). Sample size of 12 per group rule of thumb for a pilot study. Pharmaceutical Statistics, 4(4), 287–291. https://doi.org/10.1002/pst.185
  2. Leon, A. C., Davis, L. L., & Kraemer, H. C. (2011). The role and interpretation of pilot studies in clinical research. Journal of Psychiatric Research, 45(5), 626–629. https://doi.org/10.1016/j.jpsychires.2010.10.008 ● Otwarty dostęp
  3. Perneger, T. V., Courvoisier, D. S., Hudelson, P. M., & Gayet-Ageron, A. (2015). Sample size for pre-tests of questionnaires. Quality of Life Research, 24(1), 147–151. https://doi.org/10.1007/s11136-014-0752-2 ● Otwarty dostęp: pełny tekst
  4. Thabane, L., Ma, J., Chu, R., Cheng, J., Ismaila, A., Rios, L. P., Robson, R., Thabane, M., Giangregorio, L., & Goldsmith, C. H. (2010). A tutorial on pilot studies: The what, why and how. BMC Medical Research Methodology, 10(1), Article 1. https://doi.org/10.1186/1471-2288-10-1 ● Otwarty dostęp
  5. van Teijlingen, E. R., & Hundley, V. (2001). The importance of pilot studies. Social Research Update. https://sru.soc.surrey.ac.uk/SRU35.html ● Otwarty dostęp

Cytowania BibTeX

@article{julious2005sample, author={Julious, Steven A.}, title={{Sample size of 12 per group rule of thumb for a pilot study}}, journal={Pharmaceutical Statistics}, year={2005}, volume={4}, number={4}, pages={287--291}, doi={10.1002/pst.185}}
@article{leon2011role, author={Leon, Andrew C. and Davis, Lori L. and Kraemer, Helena C.}, title={{The role and interpretation of pilot studies in clinical research}}, journal={Journal of Psychiatric Research}, year={2011}, volume={45}, number={5}, pages={626--629}, doi={10.1016/j.jpsychires.2010.10.008}}
@article{perneger2015sample, author={Perneger, Thomas V. and Courvoisier, Delphine S. and Hudelson, Patricia M. and Gayet-Ageron, Angèle}, title={{Sample size for pre-tests of questionnaires}}, journal={Quality of Life Research}, year={2015}, volume={24}, number={1}, pages={147--151}, doi={10.1007/s11136-014-0752-2}}
@article{thabane2010tutorial, author={Thabane, Lehana and Ma, Jinhui and Chu, Rong and Cheng, Ji and Ismaila, Afisi and Rios, Lorena P. and Robson, Reid and Thabane, Marroon and Giangregorio, Lora and Goldsmith, Charles H.}, title={{A tutorial on pilot studies: The what, why and how}}, journal={BMC Medical Research Methodology}, year={2010}, volume={10}, number={1}, eid={1}, doi={10.1186/1471-2288-10-1}}
@article{vanteijlingen2001importance, author={van Teijlingen, Edwin R. and Hundley, Vanora}, title={{The importance of pilot studies}}, journal={Social Research Update}, year={2001}, number={35}, url={https://sru.soc.surrey.ac.uk/SRU35.html}}
R