Słownik metodologiczny · Open science i wnioskowanie

P-hacking – czym jest „łowienie istotności” i jak bardzo zawyża liczbę fałszywych odkryć?

P-hacking to zmienianie danych lub analizy, aż wynik stanie się istotny, i raportowanie tylko tej wersji. Symulacja w R pokazuje, jak kilka niewinnych decyzji podnosi odsetek fałszywych alarmów z 5% do prawie 23%, a wzór opisu w pracy – jak jawnie przedstawić decyzje analityczne.

W skrócie: P-hacking to podejmowanie decyzji o danych i analizie po obejrzeniu wyniku – wybór zmiennej zależnej, wykluczeń, kowariantów czy momentu zakończenia badania – tak długo, aż p spadnie poniżej .05. W symulacji kilka takich decyzji podniosło odsetek fałszywych alarmów z 5.0% do 22.9%. Chroni przed nim plan zapisany przed danymi, raportowanie wszystkich analiz i oddzielenie konfirmacji od eksploracji.

Co to jest p-hacking?

P-hacking to dobieranie danych albo sposobu analizy tak długo, aż wynik nieistotny stanie się istotny, i raportowanie tylko tej „udanej” wersji. Head i in. (2015) definiują go jako zbieranie lub wybieranie danych albo analiz statystycznych do momentu, w którym nieistotny wynik staje się istotny. Inne nazwy to data dredging, fishing i significance chasing, a po polsku – „łowienie istotności”.

P-hacking rzadko wygląda jak oszustwo. Zwykle składa się z drobnych, z osobna rozsądnych decyzji: „usunę tę osobę, bo odpowiadała podejrzanie szybko”, „sprawdzę jeszcze na drugiej skali”, „dobiorę kilka osób, bo grupa jest mała”. Problem polega na tym, że decyzje zapadają po obejrzeniu wyniku i w kierunku, który daje p < .05. Wtedy przestaje obowiązywać obietnica, na której opiera się NHST: że przy prawdziwej hipotezie zerowej wynik istotny pojawia się tylko w 5% badań.

John i in. (2012) zapytali ponad 2000 psychologów o udział w wątpliwych praktykach badawczych, stosując anonimową ankietę z zachętami do szczerości. Odsetek osób, które przyznały się do takich praktyk, okazał się zaskakująco wysoki. Autorzy uznali, że niektóre z tych praktyk mogą być w dziedzinie normą.

Najczęstsze formy p-hackingu

Wicherts i in. (2016) wymieniają 34 „stopnie swobody badacza” – decyzje podejmowane przy formułowaniu hipotez, planowaniu, prowadzeniu, analizie i raportowaniu badania. Każda z nich może posłużyć do p-hackingu, jeśli zapada pod wpływem wyniku. W pracach dyplomowych najczęściej spotyka się:

Formy p-hackingu z przykładami z prac dyplomowych
FormaJak to wygląda w praktyce
Wiele zmiennych zależnychNastrój mierzono dwiema skalami; w pracy opisano tę, która dała istotny wynik.
Dobieranie osób (optional stopping)Analiza po każdej kolejnej porcji ankiet i koniec zbierania danych, gdy p spadnie poniżej .05.
Elastyczne wykluczeniaUsuwanie obserwacji odstających tylko wtedy, gdy „pomaga” – albo raz według reguły 2 SD, raz 3 SD.
Kowarianty i podgrupyDodanie płci lub wieku do modelu albo analiza „tylko dla kobiet”, gdy wynik ogólny jest nieistotny.
Przekształcenia i kodowanieLogarytm, podział na grupy według mediany, inne połączenie pozycji w wynik skali.
Zmiana testuPrzejście z testu dwustronnego na jednostronny albo z parametrycznego na nieparametryczny po zobaczeniu wyniku.

P-hacking blisko łączy się z HARKingiem, ale to nie to samo. P-hacking dotyczy analizy – zmienia się ją, aż wynik „wyjdzie”. HARKing dotyczy hipotezy – dopisuje się ją do wyniku, który już wyszedł. Często występują razem.

Przykład: ile kosztuje elastyczność – symulacja

Simmons i in. (2011) pokazali w symulacjach i dwóch eksperymentach, że elastyczność w zbieraniu i analizie danych radykalnie zwiększa odsetek wyników fałszywie pozytywnych. Ten mechanizm łatwo odtworzyć. W symulacji przeprowadzono 10 000 badań z dwiema grupami po 20 osób, w których różnicy między grupami nie ma. Mierzono dwa skorelowane wskaźniki nastroju (r = .50) i płeć. Dla każdej strategii za „sukces” uznawano badanie, w którym choć jedna z dopuszczonych wersji analizy dała p < .05.

Wykres słupkowy odsetka wyników p mniejszych niż .05 przy braku różnicy między grupami: jeden zaplanowany test 5.0%, wybór z dwóch wskaźników i ich średniej 10.1%, dobranie 10 osób do grupy 7.5%, wykluczenie odstających lub nie 10.8%, kowariant lub nie 5.6%, wszystkie decyzje razem 22.9%
Rysunek 1. Odsetek badań z p < .05, gdy hipoteza zerowa jest prawdziwa. Szary słupek – jeden zaplanowany test; jasnoczerwone – jedna elastyczna decyzja; czerwony – wszystkie decyzje razem. Niebieska linia – nominalne α = .05. Obliczenia: R (dane symulowane, 10 000 badań, 2 × 20 osób).

Jak czytać wynik:

  • Jeden zaplanowany test dał fałszywy alarm w 5.0% badań – tyle, ile obiecuje α.
  • Wybór najlepszej z trzech wersji zmiennej zależnej (dwa wskaźniki i ich średnia) podwoił ten odsetek do 10.1%, a analiza z wykluczeniem wyników |z| > 2 albo bez niego – do 10.8%.
  • Dobranie 10 osób do każdej grupy po nieistotnym wyniku dało 7.5%, a kowariant niezwiązany z grupą – tylko 5.6%. Nie każda decyzja szkodzi tak samo.
  • Wszystkie decyzje razem – trzy wersje zmiennej zależnej, dwa momenty analizy, wykluczenia i kowariant – podniosły odsetek fałszywych alarmów do 22.9%. Prawie co czwarte badanie bez żadnego efektu kończyłoby się „potwierdzeniem hipotezy”.

Z rysunku wynika ważna lekcja. Do zawyżenia błędu nie potrzeba nieuczciwości – wystarczy kilka decyzji odłożonych do momentu, w którym widać wynik. Formalnie to ten sam mechanizm co w problemie wielokrotnych porównań. Różnica polega na tym, że porównania są ukryte i nikt ich nie koryguje.

Jak bardzo p-hacking zniekształca literaturę

Head i in. (2015) przeanalizowali metodą eksploracji tekstu wartości p z publikacji naukowych. Wnioskują, że p-hacking jest rozpowszechniony w wielu dziedzinach. Jednocześnie w analizowanych metaanalizach jego wpływ okazał się słaby w porównaniu z rzeczywistymi wielkościami efektów, więc prawdopodobnie nie zmienia drastycznie wniosków z metaanaliz. Dla pojedynczego badania – zwłaszcza małego, z wynikiem tuż poniżej .05 – ryzyko jest jednak znacznie większe niż w uśrednionej literaturze.

Jak się chronić przed p-hackingiem

  1. Zapisz plan przed danymi. Prerejestracja powinna określać główną zmienną zależną, liczebność i regułę zakończenia zbierania danych, reguły wykluczeń, kowarianty i test. Listę Wichertsa i in. (2016) wykorzystasz jako listę kontrolną do sprawdzenia, czy plan nie zostawia furtek.
  2. Ustal liczebność z góry – na podstawie analizy mocy a priori. Jeśli musisz analizować dane w trakcie, zaplanuj analizę sekwencyjną z korektą α.
  3. Raportuj wszystko: wszystkie mierzone zmienne, warunki, wykluczenia i ich liczbę, także analizy, które „nie wyszły”.
  4. Pokaż wrażliwość wyniku. Gdy istnieje kilka rozsądnych wersji analizy, pokaż wszystkie – w prostej analizie wrażliwości albo w analizie wieloświatowej (multiverse analysis). Steegen i in. (2016) proponują przeprowadzić analizę na wszystkich zbiorach danych wynikających z rozsądnych decyzji o wykluczeniach, przekształceniach i kodowaniu, by zobaczyć, jak bardzo wniosek zależy od arbitralnych wyborów.
  5. Oddziel konfirmację od eksploracji. Analizy wymyślone po obejrzeniu danych są dozwolone, ale opisz je w osobnej części jako eksploracyjne.

Jak recenzenci wyłapują ślady p-hackingu w rękopisach, opisuje wpis Zarzuty recenzentów do statystyki, a co zrobić z wynikiem nieistotnym bez „ratowania” go – Hipoteza się nie potwierdziła – co dalej.

Jak opisać decyzje analityczne w pracy

Najlepszą ochroną przed zarzutem p-hackingu jest akapit, który przed wynikami zdradza wszystkie decyzje. Przykład dla badania z dwiema skalami nastroju:

Opis decyzji analitycznych – wersja ukrywająca elastyczność i wersja przejrzysta
Źle (elastyczność ukryta)Dobrze (decyzje jawne)
„Grupy różniły się nastrojem, t(38) = 2.11, p = .041.” – bez informacji o drugiej skali, o trzech usuniętych osobach i o tym, że badanie dobierano do 40 osób.Podana główna zmienna zależna wskazana w planie, liczebność z analizy mocy, reguła wykluczeń z liczbą wykluczonych osób, wynik dla drugiej skali i wynik bez wykluczeń.
Zgodnie z planem analizy zarejestrowanym przed zebraniem danych główną zmienną zależną był wynik skali nastroju A, a liczebność (2 × 64 osoby) ustalono na podstawie analizy mocy. Wykluczono 3 osoby, które nie zaliczyły pytania kontrolnego (reguła ustalona przed badaniem). Wyniki dla skali nastroju B oraz analizy bez wykluczeń przedstawiono w Aneksie 2; kierunek efektu był w nich taki sam. Analizy w podgrupach wyróżnionych ze względu na płeć nie były planowane i mają charakter eksploracyjny.
Przykład reprodukowalny

Symulacja p-hackingu w R

Kod symuluje 10 000 badań bez prawdziwego efektu i dla każdej strategii sprawdza, czy choć jedna z dopuszczonych wersji analizy dała p < .05. Odsetki w tekście i na rysunku 1 pochodzą z tego kodu (obliczenia trwają ok. 30 s).

Odsetek fałszywych alarmów przy elastycznej analizie

Dane wejściowe: dwie grupy po 20 osób (z możliwością dobrania 10), dwa wskaźniki nastroju skorelowane r = .50, płeć; brak różnicy między grupami (dane symulowane, set.seed(212)).

Co odczytać: odsetek badań z p < .05 dla każdej strategii: plan powinien wynosić ok. .05, każda wartość wyższa to zawyżony błąd I rodzaju.

R
# R212 – symulacja p-hackingu: jak elastyczne decyzje podnoszą odsetek fałszywych alarmów,
# gdy hipoteza zerowa jest prawdziwa (brak różnicy między grupami)
set.seed(212)
R <- 10000                                   # liczba symulowanych badań

jedno_badanie <- function(n1 = 20, n_dod = 10) {
  # dwie zmienne zależne (np. dwie skale nastroju) skorelowane r = .50, bez różnicy między grupami
  gen <- function(n) { z1 <- rnorm(n); z2 <- 0.5 * z1 + sqrt(0.75) * rnorm(n)
                       data.frame(y1 = z1, y2 = z2, plec = rbinom(n, 1, 0.5)) }
  a <- gen(n1 + n_dod); b <- gen(n1 + n_dod)
  test <- function(a, b, y) t.test(a[[y]], b[[y]], var.equal = TRUE)$p.value
  p_zm <- function(a, b) {                   # trzy wersje wyniku: y1, y2 i ich średnia
    a$sr <- (a$y1 + a$y2) / 2; b$sr <- (b$y1 + b$y2) / 2
    c(test(a, b, "y1"), test(a, b, "y2"), test(a, b, "sr")) }
  bez_odst <- function(d) d[abs(as.numeric(scale(d$y1))) < 2, ]
  p_kow <- function(a, b) {                  # dodanie kowariantu (płeć) do modelu
    d <- rbind(cbind(a, g = 1), cbind(b, g = 0))
    summary(lm(y1 ~ g + plec, data = d))$coefficients["g", 4] }
  a20 <- a[1:n1, ]; b20 <- b[1:n1, ]
  c(plan            = test(a20, b20, "y1"),
    dwie_zmienne    = min(p_zm(a20, b20)),
    dobieranie_osob = min(test(a20, b20, "y1"), test(a, b, "y1")),
    wykluczenia     = min(test(a20, b20, "y1"), test(bez_odst(a20), bez_odst(b20), "y1")),
    kowariant       = min(test(a20, b20, "y1"), p_kow(a20, b20)),
    wszystko_razem  = min(p_zm(a20, b20), p_zm(a, b), test(bez_odst(a20), bez_odst(b20), "y1"),
                          test(bez_odst(a), bez_odst(b), "y1"), p_kow(a20, b20), p_kow(a, b)))
}
wyniki <- t(replicate(R, jedno_badanie()))
odsetek <- colMeans(wyniki < .05)
round(odsetek, 3)
Wynik w R
           plan    dwie_zmienne dobieranie_osob     wykluczenia       kowariant 
          0.050           0.101           0.075           0.108           0.056 
 wszystko_razem 
          0.229 

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje pakietu stats); rysunek przygotowano w pakiecie ggplot2.

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org

Najczęstsze błędy i sygnały ostrzegawcze

  • Kilka wartości p tuż poniżej .05 w jednej pracy, zwłaszcza przy małych grupach.
  • Liczebność „z niczego” – brak analizy mocy i reguły zakończenia zbierania danych.
  • Różne liczebności w kolejnych analizach bez wyjaśnienia, kogo i dlaczego wykluczono.
  • Kowarianty pojawiające się tylko w niektórych modelach albo podgrupy bez uzasadnienia teoretycznego.
  • Przekonanie, że p-hacking to tylko świadome fałszerstwo. Symulacja pokazuje, że wystarczą dobre intencje i brak planu.
  • „Korekta” przez pominięcie. Ukrycie nieistotnych analiz nie usuwa problemu, tylko go maskuje. Pokaż je i oznacz.

Najczęstsze pytania

Czy p-hacking to oszustwo naukowe?

Nie zawsze w sensie celowego fałszerstwa. Najczęściej wynika z serii z osobna rozsądnych decyzji podejmowanych po obejrzeniu wyniku, np. dobrania osób albo zmiany reguły wykluczeń. Skutek jest jednak ten sam: wynik istotny przestaje znaczyć to, co obiecuje poziom α.

O ile p-hacking zwiększa ryzyko fałszywego wyniku?

Zależy od liczby i rodzaju decyzji. W symulacji z dwiema grupami po 20 osób jeden zaplanowany test dawał fałszywy alarm w 5.0% badań, wybór spośród trzech wersji zmiennej zależnej – w 10.1%, a połączenie kilku elastycznych decyzji – w 22.9%.

Czym p-hacking różni się od HARKingu?

P-hacking dotyczy analizy: zmienia się dane lub metodę, aż wynik będzie istotny. HARKing dotyczy hipotezy: po poznaniu wyniku przedstawia się ją tak, jakby powstała przed badaniem. Obie praktyki często występują razem i obu zapobiega prerejestracja.

Czy dobieranie osób do badania po pierwszej analizie to p-hacking?

Tak, jeśli decyzja o dobraniu osób zależy od tego, czy wynik jest już istotny, a końcowy test nie uwzględnia tej wielokrotnej analizy. Jeśli chcesz analizować dane w trakcie, zaplanuj z góry analizę sekwencyjną z korektą poziomu α.

Jak w pracy pokazać, że nie było p-hackingu?

Napisz, które decyzje zapadły przed zebraniem danych (najlepiej z linkiem do prerejestracji), podaj liczbę i powody wykluczeń, wyniki dla wszystkich mierzonych zmiennych zależnych i wyniki alternatywnych wersji analizy. Analizy nieplanowane oznacz jako eksploracyjne.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of p-hacking in science. PLOS Biology, 13(3), Article e1002106. https://doi.org/10.1371/journal.pbio.1002106 ● Otwarty dostęp
  2. John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524–532. https://doi.org/10.1177/0956797611430953
  3. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
  4. Steegen, S., Tuerlinckx, F., Gelman, A., & Vanpaemel, W. (2016). Increasing transparency through a multiverse analysis. Perspectives on Psychological Science, 11(5), 702–712. https://doi.org/10.1177/1745691616658637
  5. Wicherts, J. M., Veldkamp, C. L. S., Augusteijn, H. E. M., Bakker, M., van Aert, R. C. M., & van Assen, M. A. L. M. (2016). Degrees of freedom in planning, running, analyzing, and reporting psychological studies: A checklist to avoid p-hacking. Frontiers in Psychology, 7, Article 1832. https://doi.org/10.3389/fpsyg.2016.01832 ● Otwarty dostęp

Cytowania BibTeX

@article{head2015extent, author={Head, Megan L. and Holman, Luke and Lanfear, Rob and Kahn, Andrew T. and Jennions, Michael D.}, title={{The extent and consequences of p-hacking in science}}, journal={PLOS Biology}, year={2015}, volume={13}, number={3}, eid={e1002106}, doi={10.1371/journal.pbio.1002106}}
@article{john2012measuring, author={John, Leslie K. and Loewenstein, George and Prelec, Drazen}, title={{Measuring the prevalence of questionable research practices with incentives for truth telling}}, journal={Psychological Science}, year={2012}, volume={23}, number={5}, pages={524--532}, doi={10.1177/0956797611430953}}
@article{simmons2011false, author={Simmons, Joseph P. and Nelson, Leif D. and Simonsohn, Uri}, title={{False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant}}, journal={Psychological Science}, year={2011}, volume={22}, number={11}, pages={1359--1366}, doi={10.1177/0956797611417632}}
@article{steegen2016increasing, author={Steegen, Sara and Tuerlinckx, Francis and Gelman, Andrew and Vanpaemel, Wolf}, title={{Increasing transparency through a multiverse analysis}}, journal={Perspectives on Psychological Science}, year={2016}, volume={11}, number={5}, pages={702--712}, doi={10.1177/1745691616658637}}
@article{wicherts2016degrees, author={Wicherts, Jelte M. and Veldkamp, Coosje L. S. and Augusteijn, Hilde E. M. and Bakker, Marjan and van Aert, Robbie C. M. and van Assen, Marcel A. L. M.}, title={{Degrees of freedom in planning, running, analyzing, and reporting psychological studies: A checklist to avoid p-hacking}}, journal={Frontiers in Psychology}, year={2016}, volume={7}, eid={1832}, doi={10.3389/fpsyg.2016.01832}}
R