Słownik metodologiczny · Open science i wnioskowanie

Replikowalność – co to znaczy, że wynik się replikuje, i dlaczego replikacje dają mniejsze efekty?

Replikowalność to uzyskiwanie spójnego wyniku w nowym badaniu z nowymi danymi. Odróżniamy ją od odtwarzalności i odporności, porównujemy kryteria udanej replikacji, a symulacja w R pokazuje, dlaczego opublikowane efekty z małych badań są zawyżone.

Strona główna / Słownik / Replikowalność
W skrócie: Replikowalność to uzyskiwanie spójnego wyniku w nowym badaniu, które stawia to samo pytanie i zbiera własne dane. Nie myl jej z odtwarzalnością (te same dane i kod) ani z odpornością (inna analiza tych samych danych). Replikację planuj dla efektu mniejszego niż w oryginale, bo istotne wyniki małych badań są zwykle zawyżone, a kryterium sukcesu ustal przed analizą.

Co to jest replikowalność?

Replikowalność (ang. replicability) to właściwość wyniku badania polegająca na tym, że nowe badanie, które stawia to samo pytanie i zbiera własne dane, uzyskuje wynik spójny z oryginałem. Raport amerykańskich Akademii Narodowych – National Academies of Sciences, Engineering, and Medicine (2019) – definiuje replikowalność jako uzyskiwanie spójnych wyników w badaniach odpowiadających na to samo pytanie naukowe. Odróżnia ją od pojęć, które w polskich tekstach często się z nią mylą:

Replikowalność a pokrewne pojęcia
PojęcieCo się powtarzaPytanie kontrolne
Odtwarzalność (ang. reproducibility)te same dane, ten sam kodCzy z udostępnionych danych wychodzą te same liczby co w artykule?
Odporność (ang. robustness)te same dane, inna rozsądna analizaCzy wniosek przetrwa inne wykluczenia, model lub przekształcenie? (zob. analiza wrażliwości)
Replikowalność (ang. replicability)nowe dane, ta sama procedura lub pytanieCzy w nowej próbie efekt znów się pojawi?
Uogólnialność (ang. generalizability)inny kontekst lub populacjaCzy wynik dotyczy też innych grup i sytuacji? (zob. trafność zewnętrzna)

Te same Akademie zauważają, że od odtworzenia obliczeń oczekuje się zwykle niemal identycznych wyników, a brak replikacji nie musi oznaczać, że coś zrobiono źle. Różne próby dają różne wyniki choćby z powodu błędu losowego, a czasem niepowodzenie replikacji prowadzi do odkrycia, od czego efekt zależy.

Rodzaje replikacji

  • Replikacja bezpośrednia (bliska) – możliwie wierne powtórzenie procedury, materiałów i analizy na nowej próbie z tej samej populacji. Sprawdza, czy efekt w ogóle istnieje.
  • Replikacja konceptualna – ta sama hipoteza, ale inna operacjonalizacja (np. inna manipulacja stresu albo inna skala). Sprawdza, czy efekt nie jest artefaktem jednej metody.
  • Replikacja wewnętrzna – kolejne badanie w tym samym projekcie albo podział próby na części eksploracyjną i potwierdzającą.

Uygun Tunç i Tunç (2023) zwracają uwagę, że wyprowadzenie testowalnej predykcji zawsze wymaga hipotez pomocniczych, np. o trafności manipulacji czy pomiaru. Po nieudanej replikacji łatwo więc „ratować” teorię zarzutem, że replikacja była zrobiona inaczej. Autorzy proponują ramy systematycznych replikacji, łączących replikacje bliskie i konceptualne. Pozwalają one ocenić, czy takie poprawki teorii są postępowe, czy tylko ją chronią.

Kiedy replikacja jest „udana”? Kryteria

Nie ma jednego kryterium sukcesu. Najczęściej stosuje się:

  1. Istotność w tym samym kierunku – replikacja daje p < .05, a efekt ma ten sam znak. Kryterium jest proste, ale silnie zależy od mocy replikacji.
  2. Zgodność oszacowań – efekt z oryginału mieści się w 95% przedziale ufności replikacji (albo odwrotnie).
  3. Połączenie wyników – metaanaliza oryginału i replikacji, która pokazuje łączną wielkość efektu.
  4. „Małe teleskopy” – Simonsohn (2015) proponuje sprawdzać, czy wynik replikacji jest zgodny z efektem na tyle dużym, że oryginalne badanie mogłoby go wykryć. Jako taki „ledwie wykrywalny” efekt przyjmuje się efekt, który oryginał wykryłby z małą, ustaloną z góry mocą – w przykładzie niżej 33% (d33%). Dzięki temu da się odróżnić replikację zbyt „zaszumioną” od takiej, która aktywnie wskazuje, że efekt jest bardzo mały.

Różne kryteria dają różne odpowiedzi. W najbardziej znanym projekcie replikacyjnym w psychologii (Open Science Collaboration, 2015) powtórzono 100 badań z trzech czasopism z większą mocą i z oryginalnymi materiałami. Wynik istotny statystycznie miało 97% badań oryginalnych i 36% replikacji. Efekt z oryginału mieścił się w 95% CI replikacji w 47% par, za udane subiektywnie uznano 39% replikacji, a średnia wielkość efektu w replikacjach była o połowę mniejsza niż w oryginałach. Szerszy kontekst tych wyników opisuje hasło kryzys replikacyjny w psychologii.

Przykład: dlaczego dobre replikacje dają „gorsze” wyniki

Załóżmy, że krótki trening uważności naprawdę poprawia koncentrację o d = 0.30. W symulacji przeprowadzono 5000 badań oryginalnych po 25 osób w grupie, ale „opublikowano” tylko te z p < .05 i efektem w oczekiwanym kierunku. Następnie każde opublikowane badanie zreplikowano.

Histogram oszacowań d Cohena z 5000 symulowanych badań po 25 osób w grupie przy prawdziwym efekcie d = 0.30. Istotne wyniki, zaznaczone na czerwono, leżą w prawym ogonie rozkładu, a ich średnia wynosi d = 0.72, czyli ponad dwa razy więcej niż prawdziwy efekt
Rysunek 1. Klątwa zwycięzcy. Szare słupki to badania z wynikiem nieistotnym, czerwone – z wynikiem istotnym, które trafiłyby do druku. Niebieska linia – prawdziwy efekt d = 0.30; czerwona przerywana – średni efekt w badaniach opublikowanych. Obliczenia: R (dane symulowane).

Co pokazuje symulacja:

  • Moc oryginałów wynosiła tylko .17 – wynik istotny dało 16.8% badań. Średnie d ze wszystkich 5000 badań było trafne (0.30), ale średnie d z badań opublikowanych wyniosło 0.72. Przez sito istotności przechodzą tylko przeszacowania. Button i in. (2013) opisują ten mechanizm: niska moc zmniejsza szansę wykrycia efektu, a efekty z badań o niskiej mocy, które okazały się istotne, są zawyżone.
  • Replikacje z tą samą liczebnością dały wynik istotny w tym samym kierunku tylko w 17.1% przypadków, choć efekt istnieje. Ich średnie d wyniosło 0.30, czyli tyle, ile wynosi prawda.
  • Replikacje z 2.5 raza większą próbą (63 osoby w grupie) dały wynik istotny w 37.7% przypadków. Jednocześnie efekt z oryginału mieścił się w ich 95% CI rzadziej (37.2% wobec 66.8%). Precyzyjniejsza replikacja wyraźniej pokazuje, że oryginał przeszacował efekt.
  • Dla oryginału z 25 osobami w grupie d33% = 0.44. Prawdziwy efekt jest mniejszy, więc oryginalne badanie było, mówiąc obrazowo, za małym teleskopem, by wiarygodnie go dostrzec.

Wniosek: niska replikowalność nie musi oznaczać, że efektów nie ma. Często oznacza, że oryginały miały zbyt małą moc, a literatura publikowała głównie przeszacowania (zob. efekt szuflady). Replikację planuj więc dla efektu mniejszego niż oryginalny, a nie dla tego z artykułu (zob. dobór liczebności próby).

Jak opisać replikację w pracy

Napisz, jakiego rodzaju to replikacja, co zmieniono względem oryginału, jak ustalono liczebność i jakie kryterium sukcesu przyjęto przed analizą. Podaj efekt z oryginału i z replikacji z przedziałami ufności.

Badanie było bliską replikacją eksperymentu z treningiem uważności, w którym uzyskano efekt d = 0.72; wykorzystano oryginalne materiały przetłumaczone na język polski. Liczebność (2 × 64 osoby) ustalono tak, by z mocą .80 wykryć efekt d = 0.50, mniejszy od oryginalnego. Za kryterium sukcesu przyjęto przed analizą wynik istotny w tym samym kierunku. Uczestnicy po treningu osiągnęli wyższy wynik w teście koncentracji niż osoby z grupy kontrolnej, t(126) = 2.64, p = .009, d = 0.47, 95% CI [0.11, 0.82]. Replikację uznano za udaną; oszacowanie efektu było mniejsze niż w badaniu oryginalnym, choć efekt oryginalny mieścił się w przedziale ufności replikacji.

Liczby w tym opisie pochodzą z jednej symulowanej replikacji w kodzie poniżej. Standardy raportowania replikacji obejmuje też moduł replikacji w standardach APA JARS (zob. styl APA). Dane i kod, które pozwolą innym odtworzyć Twoje analizy, przygotujesz według wpisu Pakiet replikacyjny: dane i kod do artykułu.

Przykład reprodukowalny

Symulacja replikacji w R

Kod symuluje badania oryginalne o niskiej mocy, selekcję wyników istotnych i ich replikacje z tą samą oraz z większą liczebnością, liczy próg d33% metody małych teleskopów, a na koniec przeprowadza jedną replikację opisaną we wzorze APA. Liczby w tekście i na rysunku 1 pochodzą z tego kodu.

Klątwa zwycięzcy i odsetek udanych replikacji

Dane wejściowe: 5000 badań oryginalnych po 25 osób w grupie, prawdziwy efekt d = 0.30 (dane symulowane, set.seed(214)).

Co odczytać: moc oryginału, średnie d wszystkich i opublikowanych badań, dla dwóch wariantów replikacji – średnie d, odsetek wyników istotnych w tym samym kierunku i odsetek par, w których efekt oryginału mieści się w 95% CI replikacji – oraz d33%, a w przykładowej replikacji n, t, p-value i Cohen's d.

R
# R214 – replikowalność: dlaczego „istotne” badania oryginalne zawyżają efekt
# i jak często replikacja kończy się sukcesem według różnych kryteriów
set.seed(214)
d_true <- 0.30                                   # prawdziwy efekt (np. trening uważności a koncentracja)
n_or <- 25                                       # osób w grupie w badaniu oryginalnym
R <- 5000

d_cohen <- function(x, y) (mean(x) - mean(y)) / sqrt((var(x) + var(y)) / 2)
badanie <- function(n) {
  x <- rnorm(n, d_true); y <- rnorm(n, 0)
  c(d = d_cohen(x, y), p = t.test(x, y, var.equal = TRUE)$p.value)
}
oryg <- t(replicate(R, badanie(n_or)))
istotne <- oryg[oryg[, "p"] < .05 & oryg[, "d"] > 0, ]          # do druku trafiają tylko wyniki istotne
round(c(moc_oryginalu = mean(oryg[, "p"] < .05 & oryg[, "d"] > 0),
        sredni_d_wszystkich = mean(oryg[, "d"]), sredni_d_opublikowanych = mean(istotne[, "d"])), 3)

# Replikacja każdego opublikowanego badania: (a) ta sama liczebność, (b) 2.5 raza większa próba
ocena <- function(n_rep) {
  wyn <- t(sapply(seq_len(nrow(istotne)), function(i) {
    x <- rnorm(n_rep, d_true); y <- rnorm(n_rep, 0)
    d_r <- d_cohen(x, y); p_r <- t.test(x, y, var.equal = TRUE)$p.value
    se_r <- sqrt(2 / n_rep + d_r^2 / (4 * n_rep))                   # przybliżony SE d
    c(d_rep = d_r,
      istotna_ten_sam_kierunek = p_r < .05 & d_r > 0,
      oryginal_w_95CI_replikacji = unname(abs(istotne[i, "d"] - d_r) < 1.96 * se_r))
  }))
  colMeans(wyn)
}
round(rbind(ta_sama_n = ocena(n_or), n_x_2.5 = ocena(round(2.5 * n_or))), 3)

# Małe teleskopy (Simonsohn, 2015): efekt, który oryginał wykryłby z mocą 33%
d33 <- power.t.test(n = n_or, power = 1/3, sig.level = .05)$delta
round(d33, 2)

# Przykład jednej replikacji do opisu w pracy: liczebność dla d = 0.50 (mniejszego niż oryginalne 0.72)
n_rep <- ceiling(power.t.test(delta = 0.5, power = 0.80, sig.level = .05)$n)
n_rep
set.seed(2140)
trening  <- rnorm(n_rep, d_true); kontrola <- rnorm(n_rep, 0)
t.test(trening, kontrola, var.equal = TRUE)
effectsize::cohens_d(trening, kontrola)
Wynik w R
          moc_oryginalu     sredni_d_wszystkich sredni_d_opublikowanych 
                  0.168                   0.300                   0.722 
          d_rep istotna_ten_sam_kierunek oryginal_w_95CI_replikacji
ta_sama_n 0.302                    0.171                      0.668
n_x_2.5   0.302                    0.377                      0.372
[1] 0.44
[1] 64

	Two Sample t-test

data:  trening and kontrola
t = 2.6375, df = 126, p-value = 0.009405
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 0.1131730 0.7934174
sample estimates:
 mean of x  mean of y 
 0.2712699 -0.1820253 

Cohen's d |       95% CI
------------------------
0.47      | [0.11, 0.82]

- Estimated using pooled SD.

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje pakietu stats i effectsize); rysunek przygotowano w pakiecie ggplot2.

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. effectsize (wersja 1.0.2): Ben-Shachar, M. S., Lüdecke, D., & Makowski, D. (2020). effectsize: Estimation of effect size indices and standardized parameters. Journal of Open Source Software, 5(56), 2815. https://doi.org/10.21105/joss.02815
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org

Najczęstsze błędy

  • Mylenie replikowalności z odtwarzalnością. Ponowne przeliczenie tych samych danych nie jest replikacją.
  • Liczebność replikacji z efektu oryginalnego. Jeśli oryginał przeszacował efekt, replikacja będzie miała za małą moc.
  • Ocena „udała się / nie udała” na podstawie samego p. Podawaj oba efekty z przedziałami ufności.
  • „Replikacja się nie udała, więc efekt nie istnieje”. Pojedyncza nieistotna replikacja zwykle tylko zawęża zakres prawdopodobnych efektów.
  • Nieopisane zmiany procedury (inna populacja, przekład, forma online). Każda zmiana to hipoteza pomocnicza, którą czytelnik powinien znać.

Najczęstsze pytania

Czym różni się replikowalność od odtwarzalności?

Odtwarzalność (reproducibility) oznacza uzyskanie tych samych liczb z tych samych danych i kodu. Replikowalność (replicability) oznacza uzyskanie spójnego wyniku w nowym badaniu z nowymi danymi. Wynik może być odtwarzalny, a mimo to się nie replikować.

Co to jest replikacja konceptualna?

To badanie tej samej hipotezy innymi metodami, np. z inną manipulacją albo inną skalą. Sprawdza, czy efekt nie jest artefaktem jednej procedury. Replikacja bezpośrednia powtarza natomiast możliwie wiernie oryginalną procedurę.

Dlaczego replikacje dają zwykle mniejsze efekty niż oryginały?

Głównie dlatego, że do druku trafiały przede wszystkim wyniki istotne. W badaniach o małej mocy istotne są tylko przeszacowania, więc opublikowane efekty są zawyżone. W symulacji z prawdziwym efektem d = 0.30 średni efekt w badaniach „opublikowanych” wyniósł 0.72.

Jak dobrać liczebność do badania replikacyjnego?

Nie opieraj jej na efekcie z oryginału, bo zwykle jest zawyżony. Przyjmij efekt mniejszy, np. najmniejszy interesujący, albo zastosuj podejście małych teleskopów, i zaplanuj próbę większą niż w oryginale.

Jak ocenić, czy replikacja się udała?

Ustal kryterium przed analizą: wynik istotny w tym samym kierunku, zgodność oszacowań w przedziałach ufności, łączna metaanaliza oryginału i replikacji albo test małych teleskopów. Niezależnie od kryterium podaj oba efekty z przedziałami ufności.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365–376. https://doi.org/10.1038/nrn3475 ● Otwarty dostęp
  2. National Academies of Sciences, Engineering, and Medicine. (2019). Reproducibility and replicability in science. The National Academies Press. https://doi.org/10.17226/25303 ● Otwarty dostęp: pełny tekst
  3. Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), Article aac4716. https://doi.org/10.1126/science.aac4716 ● Otwarty dostęp: pełny tekst
  4. Simonsohn, U. (2015). Small telescopes: Detectability and the evaluation of replication results. Psychological Science, 26(5), 559–569. https://doi.org/10.1177/0956797614567341
  5. Uygun Tunç, D., & Tunç, M. N. (2023). Falsificationist treatment of auxiliary hypotheses in social and behavioral sciences: Systematic replications framework. Meta-Psychology, 7. https://doi.org/10.15626/mp.2021.2756 ● Otwarty dostęp

Cytowania BibTeX

@article{button2013power, author={Button, Katherine S. and Ioannidis, John P. A. and Mokrysz, Claire and Nosek, Brian A. and Flint, Jonathan and Robinson, Emma S. J. and Munafò, Marcus R.}, title={{Power failure: Why small sample size undermines the reliability of neuroscience}}, journal={Nature Reviews Neuroscience}, year={2013}, volume={14}, number={5}, pages={365--376}, doi={10.1038/nrn3475}}
@book{nasem2019reproducibility, author={{National Academies of Sciences, Engineering, and Medicine}}, title={{Reproducibility and replicability in science}}, year={2019}, publisher={The National Academies Press}, url={https://doi.org/10.17226/25303}}
@article{osc2015estimating, author={{Open Science Collaboration}}, title={{Estimating the reproducibility of psychological science}}, journal={Science}, year={2015}, volume={349}, number={6251}, eid={aac4716}, doi={10.1126/science.aac4716}}
@article{simonsohn2015small, author={Simonsohn, Uri}, title={{Small telescopes: Detectability and the evaluation of replication results}}, journal={Psychological Science}, year={2015}, volume={26}, number={5}, pages={559--569}, doi={10.1177/0956797614567341}}
@article{uygun2023falsificationist, author={Uygun Tunç, Duygu and Tunç, Mehmet Necip}, title={{Falsificationist treatment of auxiliary hypotheses in social and behavioral sciences: Systematic replications framework}}, journal={Meta-Psychology}, year={2023}, volume={7}, doi={10.15626/mp.2021.2756}}
R