Słownik metodologiczny · Open science i wnioskowanie

P-hacking

Pełne wyjaśnienie, zastosowanie naukowe i praktyczne, przykład, dobre praktyki oraz gotowy zapis wyniku w APA 7.

Strona główna / Słownik / P-hacking

Opracowanie merytoryczne: · Opublikowano: · Aktualizacja:

Co oznacza P-hacking?

P-hacking to elastyczne decyzje analityczne podejmowane i raportowane tak, aby zwiększyć szansę uzyskania pożądanego p.

Zastosowanie, warunki i dobre praktyki

P-hacking obejmuje elastyczne decyzje analityczne podejmowane pod wpływem wyników, np. wielokrotne wersje wykluczeń, zmiennych lub modeli raportowane wybiórczo. Nie musi oznaczać świadomego oszustwa; może wynikać z braku planu i presji na jednoznaczny rezultat. Ograniczają go prerejestracja, pełne raportowanie, analizy wielomodelowe i rozdzielenie eksploracji od potwierdzania hipotez. Wyniki wszystkich rozsądnych wariantów można pokazać w analizie wielowersyjnej zamiast wybierać tylko najkorzystniejszą specyfikację.

Najważniejsze zastosowanie: Ograniczaj przez plan, prerejestrację, pełne raportowanie i analizy wrażliwości.

Jak poprawnie stosować i interpretować hasło „P-hacking”?

P-hacking oznacza wykorzystywanie swobody analitycznej w taki sposób, że raportowany wynik zależy od poszukiwania istotności: wielokrotnego testowania, zmiany kryteriów wyłączeń, zatrzymywania próby albo wybierania tylko korzystnych wyników. Dla interpretacji hasła „P-hacking” ocenia się cały proces od postawienia hipotezy do publikacji, a nie jedną wartość p oderwaną od liczby podjętych decyzji.

W odniesieniu do hasła „P-hacking” ryzyko ograniczają prerejestracja, jawny plan analizy, raportowanie wszystkich warunków i wyników oraz wyraźne oddzielenie analiz potwierdzających od eksploracyjnych. Przy ocenie hasła „P-hacking”, jeżeli badacz sprawdził wiele wariantów, powinien pokazać ich zakres i zastosować odpowiednią kontrolę błędu lub analizę wielowersyjną, zamiast przedstawiać wybrany wariant jako jedyny planowany.

Co trzeba opisać w raporcie?

W analizie dotyczącej hasła „P-hacking” raport powinien wskazać moment ustalenia hipotez, planowaną liczebność, reguły wyłączeń, wszystkie mierzone wyniki oraz odstępstwa od planu. Dla interpretacji hasła „P-hacking” analiza odkryta po obejrzeniu danych może być wartościowa, lecz musi zostać oznaczona jako eksploracyjna i potwierdzona w nowych danych.

Zakres raportowania dla hasła „P-hacking”: Ujawnij wszystkie analizy, decyzje po obejrzeniu danych i status eksploracyjny.

Przykład praktyczny i gotowa interpretacja

Sytuacja: Badacz testuje wiele wykluczeń i wyników, ale pokazuje tylko wariant p<.05.

Jak ją zinterpretować: Wielokrotne decyzje podejmowane pod wpływem p zwiększają szansę atrakcyjnego, lecz niestabilnego wyniku. Jawny plan, pełne raportowanie wariantów i osobne oznaczenie eksploracji pozwalają odbiorcy ocenić rzeczywistą niepewność.

Najczęstsza pułapka i granica interpretacji

Samo użycie wielu analiz nie jest p-hackingiem, jeśli są transparentnie opisane i właściwie interpretowane.

W odniesieniu do hasła „P-hacking” sama istotna wartość p nie dowodzi p-hackingu, a prerejestracja nie gwarantuje poprawnej analizy. Przy ocenie hasła „P-hacking” problem dotyczy niejawnego wykorzystania elastyczności i selektywnego raportowania, dlatego ocena wymaga informacji o całym przebiegu badania.

Definicje, zalecenia interpretacyjne i sposób raportowania oparto na literaturze metodologicznej wskazanej w bibliografii (Wasserstein i Lazar, 2016).

Powiązane hasła

Efekt szufladyKryzys replikacyjny w psychologiiNHST (podejście częstościowe)Open sciencePrerejestracja badańReplikowalność

Poradniki, w których użyjesz tego pojęcia

Poradnik

Wartość p: co naprawdę oznacza i jak ją poprawnie interpretować

Wartość p bez mitów: definicja, interpretacja, typowe błędy oraz sposób raportowania wraz z wielkością efektu i przedziałem ufności.

Czytaj →Poradnik

Wielkość efektu: jak ocenić znaczenie wyniku poza wartością p

Wielkość efektu wyjaśniona praktycznie: Cohen d, Hedges g, r, R², iloraz szans, eta², przedziały ufności i znaczenie praktyczne.

Czytaj →Poradnik

Pytania badawcze i hipotezy: jak przejść od teorii do analizy

Jak formułować pytania badawcze i hipotezy? Od teorii i operacjonalizacji przez kierunek efektu po plan analizy i prerejestrację.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Oferta dla badaczyOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
  2. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350. https://doi.org/10.1007/s10654-016-0149-3
  3. Wilkinson, L., & Task Force on Statistical Inference. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54(8), 594–604. https://doi.org/10.1037/0003-066X.54.8.594
  4. Sullivan, G. M., & Feinn, R. (2012). Using effect size—or why the P value is not enough. Journal of Graduate Medical Education, 4(3), 279–282. https://doi.org/10.4300/JGME-D-12-00156.1
  5. Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
  6. Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716

Cytowania BibTeX

@article{wasserstein2016pvalues, author={Wasserstein, Ronald L. and Lazar, Nicole A.}, title={The ASA Statement on p-Values: Context, Process, and Purpose}, journal={The American Statistician}, year={2016}, volume={70}, number={2}, pages={129--133}, doi={10.1080/00031305.2016.1154108}}
@article{greenland2016misinterpretations, author={Greenland, Sander and Senn, Stephen J. and Rothman, Kenneth J. and Carlin, John B. and Poole, Charles and Goodman, Steven N. and Altman, Douglas G.}, title={Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations}, journal={European Journal of Epidemiology}, year={2016}, volume={31}, number={4}, pages={337--350}, doi={10.1007/s10654-016-0149-3}}
@article{wilkinson1999statistical, author={Wilkinson, Leland and {Task Force on Statistical Inference}}, title={Statistical methods in psychology journals: Guidelines and explanations}, journal={American Psychologist}, year={1999}, volume={54}, number={8}, pages={594--604}, doi={10.1037/0003-066X.54.8.594}}
@article{sullivan2012effectsize, author={Sullivan, Gail M. and Feinn, Richard}, title={Using effect size—or why the P value is not enough}, journal={Journal of Graduate Medical Education}, year={2012}, volume={4}, number={3}, pages={279--282}, doi={10.4300/JGME-D-12-00156.1}}
@article{nosek2018preregistration, author={Nosek, Brian A. and Ebersole, Charles R. and DeHaven, Alexander C. and Mellor, David T.}, title={The preregistration revolution}, journal={Proceedings of the National Academy of Sciences}, year={2018}, volume={115}, number={11}, pages={2600--2606}, doi={10.1073/pnas.1708274114}}
@article{osc2015reproducibility, author={{Open Science Collaboration}}, title={Estimating the reproducibility of psychological science}, journal={Science}, year={2015}, volume={349}, number={6251}, pages={aac4716}, doi={10.1126/science.aac4716}}
R