Słownik metodologiczny · Open science i wnioskowanie

Wątpliwe praktyki badawcze (QRP) – czym są, jak często występują i jak ich uniknąć?

Wątpliwe praktyki badawcze to decyzje w szarej strefie między rzetelnością a oszustwem, które zawyżają odsetek wyników fałszywie pozytywnych. Pokazujemy przykłady, dane o skali zjawiska i sposoby zabezpieczenia własnej pracy.

Strona główna / Słownik / Wątpliwe praktyki badawcze
W skrócie: Wątpliwe praktyki badawcze (QRP) to decyzje przy zbieraniu, analizie i raportowaniu danych, które nie są fabrykowaniem ani fałszowaniem, ale zwiększają szansę na wynik istotny kosztem jego wiarygodności, np. selektywne raportowanie zmiennych, dobieranie osób do próby aż do uzyskania istotności czy HARKing.

Co to są wątpliwe praktyki badawcze?

Wątpliwe praktyki badawcze (ang. questionable research practices, QRP) to decyzje przy zbieraniu, analizie i raportowaniu danych, które nie są jawnym oszustwem, ale zwiększają szansę na „ładny” wynik kosztem jego wiarygodności. Leżą w szarej strefie między rzetelną praktyką a nierzetelnością naukową, czyli fabrykowaniem, fałszowaniem danych i plagiatem. Zwykle nie wynikają ze złej woli, tylko z presji publikacyjnej i braku planu analizy.

Typowe przykłady

  • dobieranie kolejnych osób do próby, aż wynik stanie się istotny, i przerwanie badania w tym momencie;
  • raportowanie tylko tych zmiennych zależnych, warunków lub badań, które „wyszły”;
  • usuwanie obserwacji odstających albo dodawanie zmiennych kontrolnych po obejrzeniu wyników;
  • przedstawianie hipotez sformułowanych po analizie jako założonych z góry, czyli HARKing;
  • zaokrąglanie p = .054 do „p < .05”.

Wiele z tych decyzji składa się na p-hacking i korzysta z ogrodu rozwidlających się ścieżek.

Jak często się zdarzają i dlaczego szkodzą

John i in. (2012) zapytali ponad 2000 psychologów o udział w takich praktykach, stosując anonimową ankietę z zachętami do szczerości. Odsetek przyznających się był zaskakująco wysoki, co sugeruje, że część QRP stała się normą. W metaanalizie, którą przeprowadził Fanelli (2009), do sfabrykowania lub sfałszowania danych przynajmniej raz przyznało się średnio 1.97% badaczy, a do innych wątpliwych praktyk – do 33.7%. Simmons i in. (2011) pokazali w symulacjach i eksperymentach, że nieujawniona elastyczność w zbieraniu i analizie danych radykalnie zwiększa odsetek wyników fałszywie pozytywnych. To jedna z przyczyn kryzysu replikacyjnego.

Na rysunku

Symulacja w duchu Simmonsa i in. (2011): 5000 badań porównujących dwie grupy, w których w populacji nie ma żadnej różnicy. Badacz łączy dwie praktyki z listy powyżej: sprawdza od 1 do 4 zmiennych zależnych (skorelowanych na poziomie r = .5) i po każdym nieistotnym wyniku dobiera 10 osób do grupy, zaczynając od 20, a potem liczy test od nowa. Sukces to p < .05 w którejkolwiek zmiennej przy którymkolwiek podglądzie.

Mapa cieplna 4 na 4 z wartościami w komórkach. Wiersze to liczba sprawdzanych zmiennych zależnych od 1 do 4, kolumny – liczba dobierań 10 osób do grupy od 0 do 3. Odsetek wyników p < .05 przy braku efektu rośnie w obu kierunkach: 5.1% przy jednej zmiennej bez dobierania, 9.5% przy dwóch zmiennych, 7.8% przy jednym dobieraniu, 14.1% przy obu naraz i 33.0% przy czterech zmiennych i trzech dobieraniach. Ciemniejszy kolor oznacza wyższy odsetek.
Rysunek 1. Odsetek wyników fałszywie pozytywnych przy łączeniu dwóch wątpliwych praktyk: liczby sprawdzanych zmiennych zależnych i dobierania osób po nieistotnym wyniku. Obliczenia: R, pakiet ggplot2 (dane symulowane, 5000 badań, set.seed(704)).

Co widać. Lewy dolny róg to badanie zrobione zgodnie z planem: 5.1% fałszywych alarmów, czyli tyle, ile wynosi α. Dwie zmienne zależne dają 9.5%, jedno dobieranie osób – 7.8%, a obie praktyki razem – 14.1%. Przy czterech zmiennych i trzech dobieraniach co trzecie badanie bez efektu kończy się „istotnym” wynikiem (33.0%). Błąd Monte Carlo nie przekracza 0.7 punktu procentowego.

Na co uważać. Odsetki rosną szybciej niż przy jednej praktyce, ale nie sumują się – zmienne są skorelowane, a kolejne podglądy dotyczą tych samych osób. Rysunek pokazuje tylko dwie praktyki i badacza, który zawsze wykorzystuje każdą okazję; dodanie kowariantu czy usuwanie odstających podnosi odsetek dalej. Wpływ pojedynczych praktyk pokazuje rysunek w haśle p-hacking, a samo dobieranie osób – hasło opcjonalne zatrzymywanie. Kolor jest tu tylko dodatkiem: wartości są wpisane w komórki.

Podpis do pracy:

Rysunek 1. Odsetek wyników p < .05 w 5000 symulowanych badaniach bez efektu w zależności od liczby sprawdzanych zmiennych zależnych (r = .5) i liczby dobierań 10 osób do grupy po wyniku nieistotnym. Uwaga. Badanie rozpoczynano od 20 osób w grupie; za wynik istotny uznawano p < .05 w dowolnej zmiennej przy dowolnym podglądzie danych (test t, α = .05).

Kod odtwarza rysunek i liczby z akapitu (kilka sekund). Parametry (start od 20 osób, krok 10 osób, najwyżej 3 dobierania, r = .5) ustawiono ręcznie na wzór Simmonsa i in. (2011); ziarno 704 ustalono raz i nie zmieniano. Kod definiuje sam paletę i motyw; rysunek na stronie różni się tylko krojem czcionki.

Kod R rysunku 1
# Rysunek 1. Odsetek wyników fałszywie pozytywnych przy łączeniu dwóch praktyk:
# kilka zmiennych zależnych × dobieranie osób po nieistotnym wyniku (brak efektu w populacji)
library(ggplot2)
motyw <- theme_minimal(base_size = 13) +
  theme(panel.grid = element_blank(), legend.position = "bottom", plot.title = element_text(face = "bold"))

set.seed(704)
R <- 5000                 # liczba symulowanych badań
n0 <- 20; dodatek <- 10   # start: 20 osób w grupie; po każdym nieistotnym wyniku +10 osób w grupie
k_max <- 3                # najwyżej 3 dobierania (do 50 osób w grupie)
J <- 4; r <- 0.5          # do 4 zmiennych zależnych skorelowanych r = .5
n_max <- n0 + k_max * dodatek
L <- chol(matrix(r, J, J) + diag(1 - r, J))                  # korelacja między zmiennymi zależnymi
p_t <- function(x, y) {                                      # p testu t (równe wariancje) dla każdej kolumny
  n <- nrow(x); sp <- sqrt((apply(x, 2, var) + apply(y, 2, var)) / 2)
  t <- (colMeans(x) - colMeans(y)) / (sp * sqrt(2 / n))
  2 * pt(-abs(t), 2 * n - 2)
}
sukces <- array(FALSE, c(R, J, k_max + 1))                   # [badanie, liczba zmiennych, liczba dobierań]
for (b in 1:R) {
  x <- matrix(rnorm(n_max * J), n_max) %*% L                 # grupa eksperymentalna
  y <- matrix(rnorm(n_max * J), n_max) %*% L                 # grupa kontrolna (ten sam rozkład)
  istotne <- sapply(0:k_max, function(k) { n <- n0 + k * dodatek; p_t(x[1:n, ], y[1:n, ]) < 0.05 })  # J × (k_max + 1)
  for (j in 1:J) for (k in 0:k_max)                          # sukces: p < .05 w którejś z j zmiennych przy którymś z k + 1 podglądów
    sukces[b, j, k + 1] <- any(istotne[1:j, 1:(k + 1)])
}
fpr <- apply(sukces, c(2, 3), mean)
dimnames(fpr) <- list(zmienne = 1:J, dobierania = 0:k_max)
round(100 * fpr, 1)                                          # odsetek fałszywie pozytywnych (%)
round(100 * sqrt(max(fpr) * (1 - max(fpr)) / R), 1)          # największy błąd Monte Carlo (pp)
d <- as.data.frame(as.table(fpr), responseName = "fpr")
d$etykieta <- sprintf("%.1f%%", 100 * d$fpr)
p1 <- ggplot(d, aes(dobierania, zmienne, fill = fpr)) +
  geom_tile(colour = "white", linewidth = 1.5) +
  geom_text(aes(label = etykieta, colour = fpr > 0.15), size = 4.6, fontface = "bold", show.legend = FALSE) +
  scale_fill_gradient(low = "#DCEBF7", high = "#08306B", labels = function(x) paste0(100 * x, "%"),
                      name = "Odsetek p < .05 przy braku efektu") +
  scale_colour_manual(values = c("FALSE" = "black", "TRUE" = "white")) +
  scale_x_discrete(labels = c("0\n(n = 20)", "1\n(do 30)", "2\n(do 40)", "3\n(do 50)")) +
  labs(title = "Dwie wątpliwe praktyki razem: fałszywe alarmy się mnożą",
       x = "Ile razy dobierano 10 osób do grupy po nieistotnym wyniku",
       y = "Liczba sprawdzanych zmiennych zależnych") +
  motyw + theme(legend.key.width = unit(1.6, "cm"))
p1   # zapis: ggsave("qrp-falszywe-alarmy-laczenie-praktyk.svg", p1, width = 10, height = 5.6)
Wynik w R
       dobierania
zmienne    0    1    2    3
      1  5.1  7.8 10.1 11.5
      2  9.5 14.1 17.8 20.4
      3 13.3 19.6 24.1 27.3
      4 16.1 23.5 29.3 33.0
[1] 0.7

Bibliografia oprogramowania

Wyniki i rysunek pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (pakiety base i stats; rysunek – ggplot2, zapis pakietem svglite). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Jak się zabezpieczyć w pracy

Hipotezy, wielkość próby, kryteria wykluczeń i plan analizy zarejestrowano przed zebraniem danych. W raporcie przedstawiono wszystkie zmierzone zmienne i warunki, a analizy niezaplanowane oznaczono jako eksploracyjne.

Na co uważać

  • Zapisz plan przed danymi. Prerejestracja oddziela analizy potwierdzające od eksploracyjnych.
  • Ustal regułę zakończenia zbierania danych z góry, np. na podstawie analizy mocy.
  • Analiza eksploracyjna nie jest wadą, o ile jest tak nazwana.
  • Ujawniaj wszystkie wykluczenia i ich powód, także w aneksie.

Najczęstsze pytania

Czym wątpliwe praktyki badawcze różnią się od fałszowania danych?

Fabrykowanie i fałszowanie to tworzenie lub zmienianie danych i wyników – jawna nierzetelność naukowa. QRP działają na prawdziwych danych, ale przez selektywne decyzje i raportowanie dają obraz bardziej przekonujący, niż pozwalają dane.

Czy usunięcie obserwacji odstających to zawsze wątpliwa praktyka?

Nie. Problemem jest decyzja podjęta po obejrzeniu wyników i nieujawniona w raporcie. Kryterium wykluczeń zapisane z góry i opisane w pracy, najlepiej z analizą z obserwacjami i bez nich, jest uczciwą praktyką.

Czy w pracy dyplomowej mogę dopisać hipotezę po analizie?

Możesz opisać nieoczekiwany wynik, ale jako odkrycie eksploracyjne, a nie hipotezę postawioną przed badaniem. Takie wyniki warto przedstawić w osobnym podrozdziale i potraktować jako propozycję do sprawdzenia w kolejnym badaniu.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Fanelli, D. (2009). How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data. PLoS ONE, 4(5), Article e5738. https://doi.org/10.1371/journal.pone.0005738 ● Otwarty dostęp
  2. John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524–532. https://doi.org/10.1177/0956797611430953
  3. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632

Cytowania BibTeX

@article{fanelli2009how, author={Fanelli, Daniele}, title={{How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data}}, journal={PLoS ONE}, year={2009}, volume={4}, number={5}, eid={e5738}, doi={10.1371/journal.pone.0005738}}
@article{john2012measuring, author={John, Leslie K. and Loewenstein, George and Prelec, Drazen}, title={{Measuring the prevalence of questionable research practices with incentives for truth telling}}, journal={Psychological Science}, year={2012}, volume={23}, number={5}, pages={524--532}, doi={10.1177/0956797611430953}}
@article{simmons2011false, author={Simmons, Joseph P. and Nelson, Leif D. and Simonsohn, Uri}, title={{False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant}}, journal={Psychological Science}, year={2011}, volume={22}, number={11}, pages={1359--1366}, doi={10.1177/0956797611417632}}
R