Słownik metodologiczny · Projekt badania

Schemat pretest–posttest bez grupy kontrolnej – co z niego wynika?

Pomiar przed interwencją i po niej w jednej grupie pokazuje, że wynik się zmienił, ale nie mówi, dlaczego. Omawiamy cztery główne zagrożenia, dozwolone wnioski i sposób opisu w pracy.

Strona główna / Słownik / Schemat pretest–posttest

Opracowanie merytoryczne: · Opublikowano:

W skrócie: Schemat pretest–posttest bez grupy kontrolnej to pomiar jednej grupy przed interwencją i po niej. Pozwala opisać zmianę, ale nie przypisać jej interwencji, bo tę samą zmianę mogą wywołać historia, dojrzewanie, regresja do średniej i efekt testowania. W pracy pisz o „zmianie po interwencji”, a nie o „wpływie interwencji”.

Co to jest schemat pretest–posttest bez grupy kontrolnej?

Schemat pretest–posttest bez grupy kontrolnej (ang. one-group pretest–posttest design) to plan, w którym jedną grupę mierzy się przed interwencją (O1), przeprowadza interwencję (X) i mierzy ponownie (O2). Jest częsty w pracach o szkoleniach, rehabilitacji czy programach profilaktycznych. Harris i in. (2006) zauważają, że takie nierandomizowane badania przed–po są częste, i proponują hierarchię planów quasi-eksperymentalnych, zachęcając do planów z jej wyższych szczebli, bo dają mocniejsze dowody przyczynowe.

Zagrożenia trafności

Bez grupy kontrolnej zmianę O2 − O1 mogą wyjaśnić czynniki inne niż interwencja, czyli zagrożenia trafności wewnętrznej:

  • Historia – zdarzenia między pomiarami, np. kampania w mediach w czasie szkolenia.
  • Dojrzewanie – naturalna zmiana uczestników: rozwój, zdrowienie, zmęczenie.
  • Regresja do średniej – po skrajnych wynikach zwykle przychodzą bliższe średniej. Barnett i in. (2005) podkreślają, że efekt jest najsilniejszy, gdy do badania wybiera się osoby ze skrajnym wynikiem wyjściowym.
  • Efekt testowania – sam pretest zmienia wynik posttestu. Willson i Putnam (1982) wykazali w metaanalizie, że pretest średnio podwyższał wyniki posttestu. W testach wiedzy i testach poznawczych dochodzi do tego efekt uczenia się.

Co wolno wnioskować

Możesz stwierdzić, że wynik zmienił się po interwencji i o ile. Nie możesz stwierdzić, że zmianę wywołała interwencja. Przykład:

  • Źle: „Szkolenie zwiększyło wiedzę pielęgniarek”.
  • Dobrze: „Po szkoleniu średni wynik testu wiedzy był wyższy niż przed nim; brak grupy kontrolnej nie pozwala przypisać tej zmiany szkoleniu”.

Jak opisać w pracy

Zastosowano schemat jednogrupowy z pomiarem przed interwencją i po niej, bez grupy kontrolnej. Taki plan pozwala opisać zmianę wyników, ale nie wyklucza alternatywnych wyjaśnień, takich jak wpływ zdarzeń zewnętrznych, naturalna zmiana uczestników, regresja do średniej i efekt ponownego badania tym samym testem. Wyniki interpretowano z uwzględnieniem tych ograniczeń.

Na co uważać

  • Nie kwalifikuj do badania osób według skrajnego pretestu, jeśli nie musisz.
  • Wzmocnij plan: kilka pomiarów przed interwencją, pomiar odroczony albo wersja równoległa testu.
  • Analizę takiego badania krok po kroku pokazuje wpis Badanie wiedzy przed i po szkoleniu.

Najczęstsze pytania

Czy z badania przed i po bez grupy kontrolnej można wnioskować o skuteczności?

Nie wprost. Można stwierdzić, że wynik zmienił się po interwencji, ale nie, że zmianę wywołała interwencja. Tę samą zmianę mogą dać historia, dojrzewanie, regresja do średniej i efekt testowania.

Jak wzmocnić schemat pretest–posttest, gdy nie da się utworzyć grupy kontrolnej?

Dodaj kilka pomiarów przed interwencją, pomiar odroczony, zmienną, na którą interwencja nie powinna działać, i nie dobieraj uczestników według skrajnych wyników wyjściowych.

Jakim testem analizuje się schemat pretest–posttest w jednej grupie?

Zwykle testem t dla prób zależnych albo testem Wilcoxona dla danych porządkowych. Test sprawdza tylko, czy zmiana jest większa od zera, a nie, czy wywołała ją interwencja.

Powiązane hasła

Schemat quasi-eksperymentalnyEfekt uczenia się (practice effect)Regresja do średniejGrupa kontrolnaTrafność wewnętrzna badaniaPomiar odroczony (follow-up)

Poradniki, w których użyjesz tego pojęcia

Poradnik

Badanie wiedzy przed i po szkoleniu

Test t i Wilcoxona z d_z, McNemar z korektą Holma, znormalizowany przyrost, test Bowkera i pomiar odroczony – z danymi, kodem R i opisem APA.

Czytaj →Poradnik

Quasi-eksperyment i różnica w różnicach (DiD)

Ocena programu bez losowania: równoległe trendy, regresja z interakcją, błędy klastrowane, model zdarzeń, test placebo, zagrożenia trafności i kod R.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Barnett, A. G., van der Pols, J. C., & Dobson, A. J. (2005). Regression to the mean: What it is and how to deal with it. International Journal of Epidemiology, 34(1), 215–220. https://doi.org/10.1093/ije/dyh299 ● Otwarty dostęp
  2. Harris, A. D., McGregor, J. C., Perencevich, E. N., Furuno, J. P., Zhu, J., Peterson, D. E., & Finkelstein, J. (2006). The use and interpretation of quasi-experimental studies in medical informatics. Journal of the American Medical Informatics Association, 13(1), 16–23. https://doi.org/10.1197/jamia.m1749 ● Otwarty dostęp
  3. Willson, V. L., & Putnam, R. R. (1982). A meta-analysis of pretest sensitization effects in experimental design. American Educational Research Journal, 19(2), 249–258. https://doi.org/10.3102/00028312019002249

Cytowania BibTeX

@article{barnett2005regression, author={Barnett, Adrian G. and van der Pols, Jolieke C. and Dobson, Annette J.}, title={{Regression to the mean: What it is and how to deal with it}}, journal={International Journal of Epidemiology}, year={2005}, volume={34}, number={1}, pages={215--220}, doi={10.1093/ije/dyh299}}
@article{harris2006use, author={Harris, Anthony D. and McGregor, Jessina C. and Perencevich, Eli N. and Furuno, Jon P. and Zhu, Jingkun and Peterson, Dan E. and Finkelstein, Joseph}, title={{The use and interpretation of quasi-experimental studies in medical informatics}}, journal={Journal of the American Medical Informatics Association}, year={2006}, volume={13}, number={1}, pages={16--23}, doi={10.1197/jamia.m1749}}
@article{willson1982meta, author={Willson, Victor L. and Putnam, Richard R.}, title={{A meta-analysis of pretest sensitization effects in experimental design}}, journal={American Educational Research Journal}, year={1982}, volume={19}, number={2}, pages={249--258}, doi={10.3102/00028312019002249}}
R