Słownik metodologiczny · Open science i wnioskowanie

Replikowalność

Pełne wyjaśnienie, zastosowanie naukowe i praktyczne, przykład, dobre praktyki oraz gotowy zapis wyniku w APA 7.

Strona główna / Słownik / Replikowalność

Opracowanie merytoryczne: · Opublikowano: · Aktualizacja:

Co oznacza Replikowalność?

Replikowalność oznacza uzyskanie zgodnego wniosku po ponownym zbadaniu zjawiska na nowych obserwacjach.
Co odróżnia to pojęcie? Replikowalność jest właściwością wniosku ocenianą przez ponowne badanie z nowymi obserwacjami. Trzeba odróżnić ją od reprodukowalności obliczeniowej, czyli uzyskania tych samych liczb z tych samych danych i kodu. Zgodność nie wymaga identycznej wartości p; porównuje się kierunek, wielkość i niepewność efektu oraz zgodność z wcześniej określonym kryterium.

Zastosowanie, warunki i dobre praktyki

Najważniejsze zastosowanie: Oceniaj replikowalność przez zgodność oszacowań i niepewności w nowych danych, z uwzględnieniem różnic populacji oraz procedur.

Replikowalność ocenia, czy niezależne badanie z nowymi danymi prowadzi do zgodnego wniosku lub kompatybilnego oszacowania. Nie sprowadza się do ponownego uzyskania p < .05; porównuj wielkości efektów, przedziały, różnice populacji i procedur oraz możliwe źródła heterogeniczności.

Jak poprawnie stosować i interpretować hasło „Replikowalność”?

Zastosowanie pojęcia „Replikowalność” powinno wskazywać, która część procesu badawczego staje się jawna i możliwa do sprawdzenia: hipotezy, materiały, dane, kod, decyzje analityczne albo wyniki. W analizie dotyczącej hasła „Replikowalność” sama deklaracja transparentności nie wystarcza. Dla interpretacji hasła „Replikowalność” trzeba zaplanować wersjonowanie, ochronę danych wrażliwych, licencję oraz sposób odróżnienia decyzji podjętych przed analizą od późniejszych eksploracji.

Ocena pojęcia „Replikowalność” polega na sprawdzeniu, czy udostępnione materiały rzeczywiście pozwalają odtworzyć analizę i zrozumieć odstępstwa od planu. W odniesieniu do hasła „Replikowalność” prerejestracja z niejasnymi zmiennymi i testami nie ogranicza swobody decyzyjnej. Przy ocenie hasła „Replikowalność”, gdy pełne dane nie mogą być publiczne, można udostępnić metadane, kod, dane syntetyczne i procedurę kontrolowanego dostępu.

Co trzeba opisać w raporcie?

Opis pojęcia „Replikowalność” powinien zawierać trwałe odnośniki, daty, wersje plików i warunki dostępu. W analizie dotyczącej hasła „Replikowalność” należy wymienić wszystkie odstępstwa od protokołu oraz oznaczyć analizy eksploracyjne. Dla interpretacji hasła „Replikowalność” w przypadku oprogramowania warto podać środowisko i zależności, aby reprodukcja nie opierała się na domyślnych ustawieniach innej wersji.

Zakres raportowania dla hasła „Replikowalność”: Oddziel replikację bezpośrednią od konceptualnej i raportuj wszystkie wyniki.

Przykład praktyczny i gotowa interpretacja

Sytuacja: Nowe prerejestrowane badanie uzyskało efekt w tym samym kierunku i zgodny przedział, choć p = .07. Ocenę replikacji oparto na wielkości i precyzji, nie identycznej decyzji p < .05.

Jak ją zinterpretować: Zgodny kierunek i nakładające się przedziały mogą świadczyć o replikacji mimo innej decyzji p. Ocena powinna uwzględniać precyzję obu badań, zgodność procedur i możliwą heterogeniczność efektu.

Najczęstsza pułapka i granica interpretacji

Replikacja nie wymaga identycznego p; ważniejsze są zgodność efektu, niepewność i wcześniej ustalone kryterium.

Praktyka związana z „Replikowalność” nie gwarantuje poprawności teorii ani danych. W odniesieniu do hasła „Replikowalność” zwiększa możliwość kontroli i uczenia się z błędów, ale musi być równoważona ochroną uczestników, prawem i ryzykiem ujawnienia informacji.

Definicje, zalecenia interpretacyjne i sposób raportowania oparto na literaturze metodologicznej wskazanej w bibliografii (Wasserstein i Lazar, 2016).

Powiązane hasła

Efekt szufladyKryzys replikacyjny w psychologiiNHST (podejście częstościowe)Open scienceP-hackingPrerejestracja badań

Poradniki, w których użyjesz tego pojęcia

Poradnik

Wartość p: co naprawdę oznacza i jak ją poprawnie interpretować

Wartość p bez mitów: definicja, interpretacja, typowe błędy oraz sposób raportowania wraz z wielkością efektu i przedziałem ufności.

Czytaj →Poradnik

Wielkość efektu: jak ocenić znaczenie wyniku poza wartością p

Wielkość efektu wyjaśniona praktycznie: Cohen d, Hedges g, r, R², iloraz szans, eta², przedziały ufności i znaczenie praktyczne.

Czytaj →Poradnik

Pytania badawcze i hipotezy: jak przejść od teorii do analizy

Jak formułować pytania badawcze i hipotezy? Od teorii i operacjonalizacji przez kierunek efektu po plan analizy i prerejestrację.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Oferta dla badaczyOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
  2. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350. https://doi.org/10.1007/s10654-016-0149-3
  3. Wilkinson, L., & Task Force on Statistical Inference. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54(8), 594–604. https://doi.org/10.1037/0003-066X.54.8.594
  4. Sullivan, G. M., & Feinn, R. (2012). Using effect size—or why the P value is not enough. Journal of Graduate Medical Education, 4(3), 279–282. https://doi.org/10.4300/JGME-D-12-00156.1
  5. Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
  6. Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716

Cytowania BibTeX

@article{wasserstein2016pvalues, author={Wasserstein, Ronald L. and Lazar, Nicole A.}, title={The ASA Statement on p-Values: Context, Process, and Purpose}, journal={The American Statistician}, year={2016}, volume={70}, number={2}, pages={129--133}, doi={10.1080/00031305.2016.1154108}}
@article{greenland2016misinterpretations, author={Greenland, Sander and Senn, Stephen J. and Rothman, Kenneth J. and Carlin, John B. and Poole, Charles and Goodman, Steven N. and Altman, Douglas G.}, title={Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations}, journal={European Journal of Epidemiology}, year={2016}, volume={31}, number={4}, pages={337--350}, doi={10.1007/s10654-016-0149-3}}
@article{wilkinson1999statistical, author={Wilkinson, Leland and {Task Force on Statistical Inference}}, title={Statistical methods in psychology journals: Guidelines and explanations}, journal={American Psychologist}, year={1999}, volume={54}, number={8}, pages={594--604}, doi={10.1037/0003-066X.54.8.594}}
@article{sullivan2012effectsize, author={Sullivan, Gail M. and Feinn, Richard}, title={Using effect size—or why the P value is not enough}, journal={Journal of Graduate Medical Education}, year={2012}, volume={4}, number={3}, pages={279--282}, doi={10.4300/JGME-D-12-00156.1}}
@article{nosek2018preregistration, author={Nosek, Brian A. and Ebersole, Charles R. and DeHaven, Alexander C. and Mellor, David T.}, title={The preregistration revolution}, journal={Proceedings of the National Academy of Sciences}, year={2018}, volume={115}, number={11}, pages={2600--2606}, doi={10.1073/pnas.1708274114}}
@article{osc2015reproducibility, author={{Open Science Collaboration}}, title={Estimating the reproducibility of psychological science}, journal={Science}, year={2015}, volume={349}, number={6251}, pages={aac4716}, doi={10.1126/science.aac4716}}
R