Co oznacza Efekt szuflady?
Zastosowanie, warunki i dobre praktyki
Problem nie polega wyłącznie na tym, że część artykułów pozostaje nieopublikowana. Selekcja może wystąpić już przy wyborze wyników, modeli, punktów czasowych lub sposobu raportowania w obrębie jednego badania. Dlatego wiarygodna synteza poszukuje rejestrów, prac nieopublikowanych i wyników zerowych, a następnie sprawdza, jak różne założenia o brakujących badaniach wpływają na efekt łączny. Wykres lejkowy i test asymetrii mogą sygnalizować problem, lecz nie rozróżniają selekcji publikacyjnej od heterogeniczności ani efektu małego badania.
Najważniejsze zastosowanie: Uwzględniaj przy przeglądach systematycznych, metaanalizach i ocenie całej literatury.
Jak poprawnie stosować i interpretować hasło „Efekt szuflady”?
Przy ocenie pojęcia „Efekt szuflady” najpierw definiuje się pytanie, kryteria włączenia i wspólną miarę efektu. W analizie dotyczącej hasła „Efekt szuflady” łączenie badań ma sens tylko wtedy, gdy populacje, interwencje, wyniki i projekty są wystarczająco porównywalne. Dla interpretacji hasła „Efekt szuflady” model efektów losowych nie rozwiązuje automatycznie heterogeniczności; opisuje rozkład efektów, którego interpretacja wymaga wiedzy o różnicach między badaniami.
Ocena pojęcia „Efekt szuflady” obejmuje ryzyko błędu w badaniach pierwotnych, wyszukiwanie niepublikowanych wyników, zależność wielu efektów z tego samego badania oraz analizy wrażliwości. W odniesieniu do hasła „Efekt szuflady” obok I² i τ² warto podać przedział predykcji. Przy ocenie hasła „Efekt szuflady” przy małej liczbie badań estymacja heterogeniczności i testy asymetrii są niestabilne, co trzeba jawnie zaznaczyć.
Co trzeba opisać w raporcie?
Raport dotyczący „Efekt szuflady” powinien opisać protokół, bazy i daty wyszukiwania, proces selekcji, kodowanie efektów, model i estymator heterogeniczności. W analizie dotyczącej hasła „Efekt szuflady” efekt łączny należy podać z przedziałem ufności, a dla modelu losowego także τ², I² i przedział predykcji. Dla interpretacji hasła „Efekt szuflady” analizy podgrup muszą wynikać z planu lub być oznaczone jako eksploracyjne.
Zakres raportowania dla hasła „Efekt szuflady”: Opisz wyszukiwanie literatury szarej, rejestrów i analizy wrażliwości.
Przykład praktyczny i gotowa interpretacja
Sytuacja: Jeśli publikowane są głównie duże dodatnie efekty, metaanaliza może przeszacować prawdziwy efekt.
Jak ją zinterpretować: Niedobór małych lub nieistotnych wyników może zawyżać efekt łączny, lecz asymetria wykresu lejkowego ma także inne przyczyny. Wniosek powinien opierać się na wyszukiwaniu wyników niepublikowanych i analizach wrażliwości, nie na jednym teście.
Najczęstsza pułapka i granica interpretacji
Symetria wykresu lejkowego sama nie dowodzi braku biasu publikacyjnego.
Precyzyjny wynik „Efekt szuflady” może być precyzyjnie obciążony, jeśli badania pierwotne są słabe albo publikacja wyników selektywna. W odniesieniu do hasła „Efekt szuflady” efekt łączny nie zastępuje oceny heterogeniczności i możliwości zastosowania w konkretnej populacji.
Definicje, zalecenia interpretacyjne i sposób raportowania oparto na literaturze metodologicznej wskazanej w bibliografii (Wasserstein i Lazar, 2016).
Powiązane hasła
Poradniki, w których użyjesz tego pojęcia
Wartość p: co naprawdę oznacza i jak ją poprawnie interpretować
Wartość p bez mitów: definicja, interpretacja, typowe błędy oraz sposób raportowania wraz z wielkością efektu i przedziałem ufności.
Czytaj →PoradnikWielkość efektu: jak ocenić znaczenie wyniku poza wartością p
Wielkość efektu wyjaśniona praktycznie: Cohen d, Hedges g, r, R², iloraz szans, eta², przedziały ufności i znaczenie praktyczne.
Czytaj →PoradnikPytania badawcze i hipotezy: jak przejść od teorii do analizy
Jak formułować pytania badawcze i hipotezy? Od teorii i operacjonalizacji przez kierunek efektu po plan analizy i prerejestrację.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Oferta dla badaczyOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
- Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350. https://doi.org/10.1007/s10654-016-0149-3
- Wilkinson, L., & Task Force on Statistical Inference. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54(8), 594–604. https://doi.org/10.1037/0003-066X.54.8.594
- Sullivan, G. M., & Feinn, R. (2012). Using effect size—or why the P value is not enough. Journal of Graduate Medical Education, 4(3), 279–282. https://doi.org/10.4300/JGME-D-12-00156.1
- Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
- Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
Cytowania BibTeX
@article{wasserstein2016pvalues, author={Wasserstein, Ronald L. and Lazar, Nicole A.}, title={The ASA Statement on p-Values: Context, Process, and Purpose}, journal={The American Statistician}, year={2016}, volume={70}, number={2}, pages={129--133}, doi={10.1080/00031305.2016.1154108}}@article{greenland2016misinterpretations, author={Greenland, Sander and Senn, Stephen J. and Rothman, Kenneth J. and Carlin, John B. and Poole, Charles and Goodman, Steven N. and Altman, Douglas G.}, title={Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations}, journal={European Journal of Epidemiology}, year={2016}, volume={31}, number={4}, pages={337--350}, doi={10.1007/s10654-016-0149-3}}@article{wilkinson1999statistical, author={Wilkinson, Leland and {Task Force on Statistical Inference}}, title={Statistical methods in psychology journals: Guidelines and explanations}, journal={American Psychologist}, year={1999}, volume={54}, number={8}, pages={594--604}, doi={10.1037/0003-066X.54.8.594}}@article{sullivan2012effectsize, author={Sullivan, Gail M. and Feinn, Richard}, title={Using effect size—or why the P value is not enough}, journal={Journal of Graduate Medical Education}, year={2012}, volume={4}, number={3}, pages={279--282}, doi={10.4300/JGME-D-12-00156.1}}@article{nosek2018preregistration, author={Nosek, Brian A. and Ebersole, Charles R. and DeHaven, Alexander C. and Mellor, David T.}, title={The preregistration revolution}, journal={Proceedings of the National Academy of Sciences}, year={2018}, volume={115}, number={11}, pages={2600--2606}, doi={10.1073/pnas.1708274114}}@article{osc2015reproducibility, author={{Open Science Collaboration}}, title={Estimating the reproducibility of psychological science}, journal={Science}, year={2015}, volume={349}, number={6251}, pages={aac4716}, doi={10.1126/science.aac4716}}