Co to jest badanie pilotażowe?
Badanie pilotażowe (pilotaż, ang. pilot study) to mała, próbna wersja badania przeprowadzana przed badaniem właściwym, aby sprawdzić, czy procedura jest wykonalna, a narzędzie działa zgodnie z planem. Termin ma dwa znaczenia: może oznaczać pomniejszoną wersję całego badania (studium wykonalności, ang. feasibility study) albo pretest konkretnego narzędzia, np. kwestionariusza (van Teijlingen i Hundley, 2001).
Najważniejsza cecha pilotażu: nie służy do testowania hipotez. Leon i in. (2011) podkreślają, że pilotaż ocenia wykonalność – rekrutację, losowy przydział do grup w eksperymencie, utrzymanie uczestników w badaniu, procedury pomiaru i realizację interwencji. Ze względu na małą próbę nie daje też sensownego oszacowania wielkości efektu, na którym można by oprzeć planowanie kolejnego badania.
Po co robi się badanie pilotażowe?
Thabane i in. (2010) grupują powody prowadzenia pilotażu w cztery obszary: proces (np. odsetek osób, które zgadzają się na udział i rezygnują), zasoby (np. czas potrzebny na wypełnienie formularzy), zarządzanie (np. problemy z wprowadzaniem danych) oraz kwestie naukowe (np. zmienność wyników). Pilotaż zwiększa szansę powodzenia badania głównego, choć jej nie gwarantuje (van Teijlingen i Hundley, 2001). Różnice między pilotażem a badaniem właściwym zestawiono w tabeli.
| Cecha | Badanie pilotażowe | Badanie właściwe |
|---|---|---|
| Cel | Sprawdzić wykonalność procedury i działanie narzędzia | Odpowiedzieć na pytanie badawcze |
| Liczebność | Mała, dobrana do celu pilotażu | Wynika z analizy mocy lub wymaganej precyzji |
| Analiza | Opisowa: czas, rozkłady odpowiedzi, braki, odsetek ukończeń, problemy z pytaniami | Testowanie hipotez, szacowanie efektów |
| Wynik | Decyzja: przerwać, poprawić procedurę albo kontynuować | Wnioski merytoryczne |
| Dane | Zwykle nie trafiają do analiz głównych | Podstawa wniosków pracy |
Ile osób do pilotażu?
Liczebność zależy od celu. Dla pilotażu z porównaniem grup, gdy brak wcześniejszych danych, Julious (2005) rekomenduje 12 osób na grupę i uzasadnia to wykonalnością oraz precyzją oszacowania średniej i wariancji. Dla pretestu kwestionariusza Perneger i in. (2015) rekomendują domyślnie 30 osób: przy problemie dotyczącym 5% respondentów pretest na 10 osobach ma tylko 40% szans na jego wykrycie.
Pełne zestawienie rekomendacji, wykres szansy wykrycia problemu i symulację pokazującą, dlaczego nie warto liczyć mocy testu z efektu z pilotażu, znajdziesz w poradniku badanie pilotażowe: po co, ile osób, co sprawdzić.
Pilotaż ankiety w pracy dyplomowej
W pracy z psychologii pilotaż najczęściej dotyczy ankiety. Poprzedzają go zwykle ocena promotora i kilka wywiadów poznawczych, w których sprawdzasz, jak respondenci rozumieją pytania. W samym pilotażu ankietę wypełniają osoby z populacji docelowej, a Ty sprawdzasz:
- czy pytania są zrozumiałe i czy nikt nie zgłasza wątpliwości co do odpowiedzi;
- ile trwa wypełnianie (mediana czasu, a nie najkrótszy czas);
- czy działają filtry, pola obowiązkowe i widok na telefonie;
- czy pozycje różnicują osoby (efekt sufitu i podłogi) i czy w którymś pytaniu nie ma wyraźnie więcej braków;
- czy pozycje skal są ze sobą spójne (spójność wewnętrzna) – pamiętając, że w małej próbie to tylko wstępna ocena.
Miejsce pilotażu w całym procesie przygotowania narzędzia pokazujemy w poradniku jak zrobić ankietę do pracy dyplomowej. W pracy pilotaż opisz w rozdziale metodologicznym, np. tak:
Najczęstsze błędy
- Pilotaż jako „małe badanie główne” – testowanie w nim hipotez i raportowanie wartości p (Leon i in., 2011).
- Analiza mocy na podstawie efektu z pilotażu – oszacowanie z małej próby jest zbyt nieprecyzyjne, by na nim planować liczebność.
- Pilotaż na osobach spoza populacji docelowej – np. na znajomych z seminarium, którzy znają hipotezy.
- Zdanie „przeprowadzono pilotaż” bez szczegółów – czytelnik powinien wiedzieć, na ilu osobach go zrobiono i co zmieniono; van Teijlingen i Hundley (2001) zachęcają do raportowania, czego pilotaż nauczył badacza.
Najczęstsze pytania
Co to jest badanie pilotażowe?
To mała, próbna wersja badania przeprowadzana przed badaniem właściwym. Sprawdza, czy procedura jest wykonalna i czy narzędzie – np. ankieta – działa zgodnie z planem. Nie służy do testowania hipotez.
Czym różni się badanie pilotażowe od badania właściwego?
Pilotaż odpowiada na pytanie, czy badanie da się przeprowadzić i czy narzędzie działa; badanie właściwe – na pytanie badawcze. Pilotaż ma małą próbę, a jego wynikiem jest decyzja o poprawkach, a nie wnioski merytoryczne (Leon i in., 2011).
Czy w badaniu pilotażowym testuje się hipotezy?
Nie. Małe próby dają bardzo nieprecyzyjne oszacowania efektów, więc istotny lub nieistotny wynik pilotażu niewiele mówi o hipotezie. Pilotaż ocenia wykonalność: rekrutację, procedury pomiaru i działanie narzędzia (Leon i in., 2011).
Co to jest pilotaż ankiety?
To wypełnienie ankiety przez niewielką grupę osób z populacji docelowej przed właściwym zbieraniem danych. Sprawdza się w nim zrozumiałość pytań, czas wypełniania, działanie filtrów, rozkłady odpowiedzi i braki danych.
Ile osób powinno wziąć udział w pilotażu?
To zależy od celu. Do pretestu kwestionariusza Perneger i in. (2015) rekomendują domyślnie 30 osób, a w pilotażu z porównaniem grup Julious (2005) – 12 osób na grupę. Uzasadnienie tych liczb znajdziesz w poradniku o badaniu pilotażowym.
Powiązane hasła
Poradniki, w których użyjesz tego pojęcia
Badanie pilotażowe: po co, ile osób, co sprawdzić
Pilotaż a pretest, ile osób zbadać, co sprawdzić w danych i dlaczego nie liczyć mocy z efektu z pilotażu. Z symulacją, kodem R i wzorem opisu.
Czytaj →PoradnikJak zrobić ankietę do pracy dyplomowej
12 kroków od hipotez do czystych danych: skale, pytania, zgoda, pilotaż, Google Forms czy LimeSurvey, książka kodów, harmonogram i lista kontrolna.
Czytaj →PoradnikDobór liczebności próby: moc, precyzja i uzasadnienie badania
Jak dobrać liczebność próby? Moc testu, precyzja, symulacja, przewidywane braki danych i zasady rzetelnego uzasadnienia liczby uczestników.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Wyceń analizęOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- Julious, S. A. (2005). Sample size of 12 per group rule of thumb for a pilot study. Pharmaceutical Statistics, 4(4), 287–291. https://doi.org/10.1002/pst.185
- Leon, A. C., Davis, L. L., & Kraemer, H. C. (2011). The role and interpretation of pilot studies in clinical research. Journal of Psychiatric Research, 45(5), 626–629. https://doi.org/10.1016/j.jpsychires.2010.10.008 ● Otwarty dostęp
- Perneger, T. V., Courvoisier, D. S., Hudelson, P. M., & Gayet-Ageron, A. (2015). Sample size for pre-tests of questionnaires. Quality of Life Research, 24(1), 147–151. https://doi.org/10.1007/s11136-014-0752-2 ● Otwarty dostęp: pełny tekst
- Thabane, L., Ma, J., Chu, R., Cheng, J., Ismaila, A., Rios, L. P., Robson, R., Thabane, M., Giangregorio, L., & Goldsmith, C. H. (2010). A tutorial on pilot studies: The what, why and how. BMC Medical Research Methodology, 10(1), Article 1. https://doi.org/10.1186/1471-2288-10-1 ● Otwarty dostęp
- van Teijlingen, E. R., & Hundley, V. (2001). The importance of pilot studies. Social Research Update. https://sru.soc.surrey.ac.uk/SRU35.html ● Otwarty dostęp
Cytowania BibTeX
@article{julious2005sample, author={Julious, Steven A.}, title={{Sample size of 12 per group rule of thumb for a pilot study}}, journal={Pharmaceutical Statistics}, year={2005}, volume={4}, number={4}, pages={287--291}, doi={10.1002/pst.185}}@article{leon2011role, author={Leon, Andrew C. and Davis, Lori L. and Kraemer, Helena C.}, title={{The role and interpretation of pilot studies in clinical research}}, journal={Journal of Psychiatric Research}, year={2011}, volume={45}, number={5}, pages={626--629}, doi={10.1016/j.jpsychires.2010.10.008}}@article{perneger2015sample, author={Perneger, Thomas V. and Courvoisier, Delphine S. and Hudelson, Patricia M. and Gayet-Ageron, Angèle}, title={{Sample size for pre-tests of questionnaires}}, journal={Quality of Life Research}, year={2015}, volume={24}, number={1}, pages={147--151}, doi={10.1007/s11136-014-0752-2}}@article{thabane2010tutorial, author={Thabane, Lehana and Ma, Jinhui and Chu, Rong and Cheng, Ji and Ismaila, Afisi and Rios, Lorena P. and Robson, Reid and Thabane, Marroon and Giangregorio, Lora and Goldsmith, Charles H.}, title={{A tutorial on pilot studies: The what, why and how}}, journal={BMC Medical Research Methodology}, year={2010}, volume={10}, number={1}, eid={1}, doi={10.1186/1471-2288-10-1}}@article{vanteijlingen2001importance, author={van Teijlingen, Edwin R. and Hundley, Vanora}, title={{The importance of pilot studies}}, journal={Social Research Update}, year={2001}, number={35}, url={https://sru.soc.surrey.ac.uk/SRU35.html}}