Prace dyplomowe · Plan badania

Replikacja jako praca dyplomowa – kiedy ma sens, jak uzasadnić i opisać odstępstwa

Rozmowa z promotorem, wybór badania, tabela odstępstw od oryginału i uczciwa ocena wyniku. Gdy zamiast „czegoś nowego” chcesz sprawdzić, czy opublikowany wynik się powtarza.

Strona główna / Blog / Replikacja jako praca dyplomowa
W skrócie: Replikacja może być pełnoprawną pracą dyplomową, jeśli promotor i regulamin na nią pozwalają, a od początku zaplanujesz ją jako replikację: rodzaj, efekt główny, tabelę odstępstw i kryterium oceny. Żadne pojedyncze kryterium nie wystarcza: w przykładzie jeden wynik był istotny, choć wartość z oryginału leżała poza przedziałem ufności, a inny pozostał nierozstrzygnięty przez małą próbę. Nieudaną replikację opisz bez zarzutów wobec autorów.

Kiedy replikacja ma sens w pracy dyplomowej

Masz temat, ale nie masz pomysłu na „coś nowego”. Albo znalazłaś artykuł, którego wynik wydaje się ważny, a opiera się na jednej małej próbie. Powtórzenie takiego badania może być dobrą pracą licencjacką lub magisterską. Musi jednak być pomyślane jako replikacja od pierwszego dnia, a nie jako badanie „podobne do czegoś”.

Ten wpis dotyczy decyzji i opisu w pracy dyplomowej. Definicje są w haśle replikowalność, a tło w haśle o kryzysie replikacyjnym. Planowanie na poziomie doktoratu lub artykułu, czyli liczebność, małe teleskopy i registered reports, opisuje poradnik jak zaplanować badanie replikacyjne. O replikacji jako jednej z uczciwych opcji bez nowatorstwa pisze też wpis o luce badawczej.

Replikacja zwykle ma sens, gdy spełnione są trzy warunki:

  • Wynik coś znaczy. Opiera się na nim teoria, program albo praktyka, a dowody są skąpe.
  • Da się to powtórzyć. Masz procedurę, narzędzia i dostęp do podobnych osób.
  • Każdy wynik będzie wart opisania. Także wtedy, gdy efektu nie będzie.

Nie jest dobrym pomysłem, gdy szukasz najkrótszej drogi. Replikacja wymaga zwykle większej próby niż oryginał, korespondencji z autorami i dokładnej dokumentacji. Nie sprawdzi się też, gdy promotor oczekuje modelu własnego autorstwa albo gdy badanie wymaga aparatury, której nie masz.

Czy promotor i uczelnia to zaakceptują

Odpowiedź zależy od konkretnego promotora, kierunku i regulaminu. Nie ma jednej reguły, a wymagania co do samodzielności i wkładu formułują zwykle uczelnie lub wydziały (zob. wpis o trzech poziomach prac). Porozmawiaj o tym przed zgłoszeniem tematu i sprawdź, czy regulamin nie zawiera wymogów, które replikacja mogłaby naruszać. Gdy pojawia się zastrzeżenie, przygotuj konkretną odpowiedź, a decyzję zostaw promotorowi.

Typowe zastrzeżenia wobec replikacji jako pracy dyplomowej i możliwe odpowiedzi
ZastrzeżenieCo możesz odpowiedzieć
„To nie jest nic nowego”Nowe są dane, populacja i oszacowanie efektu. Wkładem jest ocena, czy wynik się utrzymuje. Makel i in. (2012) oszacowali, że replikacje stanowiły około 1.07% publikacji w 100 czasopismach psychologicznych o najwyższym wskaźniku wpływu.
„Student nie umie zrobić dobrej replikacji”Frank i Saxe (2012) argumentują, że replikowanie niedawnych wyników dobrze uczy metod, a przy właściwym nadzorze może być realnym wkładem. Hawkins i in. (2018) opisali 11 zarejestrowanych replikacji wykonanych w ramach kursu na poziomie graduate, wraz z trudnościami, na które trafili.
„A jeśli nie wyjdzie?”Kryteria będą zapisane przed zebraniem danych, więc każdy wynik da się uczciwie opisać. Zob. co zrobić, gdy hipoteza się nie potwierdzi.
„Replikacje bezpośrednie nic nie wnoszą teoretycznie”Zwaan i in. (2018) omawiają najczęstsze zarzuty i dochodzą do wniosku, że nie ma teoretycznych ani statystycznych przeszkód, by wykonywać je rutynowo. Możesz też zaproponować dodatkowe, jasno oddzielone pytanie.
„Czy to nie plagiat?”Oryginał jest jawnie cytowany, dane są Twoje, a tekst piszesz sam(a). Materiały i kwestionariusze mogą jednak mieć licencję (zob. licencja narzędzia badawczego).

Możesz wysłać promotorowi krótką propozycję. Nie przekonuj, tylko pokaż, co masz i o co pytasz.

Dzień dobry, chciał(a)bym zaproponować jako temat pracy replikację badania [autorzy, rok], w którym uzyskano [wynik] w próbie liczącej [n] osób. Wynik ten jest podstawą [teorii, programu, zaleceń], a nie znalazłem/-am jego powtórzenia w [populacja]. Materiały są dostępne [gdzie], polska wersja narzędzia istnieje [źródło]. Planuję zbadać około [n] osób, co jest wykonalne w [miejsce rekrutacji]. Czy taka praca byłaby według Pana/Pani możliwa i czy regulamin lub zwyczaj wydziału wymagają dodania własnego pytania badawczego? Mogę przygotować jednostronicowy plan. Z poważaniem, [imię i nazwisko]

Trzy rodzaje replikacji

Nazwij swój rodzaj od razu. Od niego zależy, co wolno Ci wywnioskować.

Rodzaje replikacji w pracy dyplomowej: co się zmienia, na jakie pytanie odpowiadają i jakie mają ryzyko
RodzajCo się zmieniaPytanieGłówne ryzyko
Bezpośrednia (bliska)Jak najmniej: te same materiały, pomiar, analiza; nowe osobyCzy wynik się powtarza?W polskich warunkach zawsze coś się różni, więc „identyczna” jest fikcją
W innej populacjiŚwiadomie jedna rzecz: kraj, wiek, zawódCzy wynik przenosi się na tę grupę?Brak efektu może oznaczać, że go nie ma, albo że działa tylko gdzie indziej
Koncepcyjna (konceptualna)Hipoteza zostaje, zmienia się manipulacja lub pomiarCzy wynik nie zależy od jednej metody?Porażka jest trudna do zinterpretowania: efekt czy nowa operacjonalizacja?

W pracy dyplomowej najbezpieczniejsza jest replikacja bliska albo w innej populacji, z jedną nazwaną zmianą. Pytanie o trafność zewnętrzną stawiasz wtedy wprost. Brandt i in. (2014) sformułowali „Replication Recipe”, czyli zestaw kryteriów przekonującej bliskiej replikacji. To dobra lista do rozmowy z promotorem.

Jak wybrać badanie do powtórzenia

Zacznij od kilku kandydatów i sprawdź każdego według rysunku 1. Ogólny test wykonalności tematu opisuje wpis czy temat da się zbadać.

Schemat pięciu kolejnych pytań: zgoda promotora i regulamin, dostępność procedury, polska wersja narzędzia, dostęp do populacji i wystarczająca próba. Przy odpowiedzi nie podano, co zrobić, a po pięciu odpowiedziach tak prowadzi do replikacji bliskiej.
Rysunek 1. Pięć pytań przed wyborem badania. Odpowiedź „nie” nie musi kończyć pomysłu, ale zmienia rodzaj pracy. Schemat przygotowany w R.

Sprawdź też cechy samego badania:

  • Opis metody. Czy z artykułu da się odtworzyć procedurę? Pomoże czytanie artykułu przed cytowaniem.
  • Efekt główny. Replikuj wynik, na którym stoi artykuł, a nie przypadkową analizę dodatkową. Efekt główny wskaż przed zebraniem danych.
  • Narzędzie. Poszukaj polskiej wersji kwestionariusza. Jeśli jej nie ma, adaptacja to zwykle osobna praca.
  • Czas powstania. Zjawiska związane z technologią czy prawem mogły się zmienić. Wtedy brak efektu niewiele mówi o oryginale.
  • Etyka. Badanie, które wymaga wprowadzenia w błąd lub dotyczy pacjentów, często potrzebuje zgody komisji. Sprawdź to wcześnie (wniosek do komisji).

Nie wybieraj badania dlatego, że „na pewno jest fałszywe”. Taka motywacja łatwo przenika do decyzji o próbie i analizie, a potem do tekstu dyskusji.

Plan pracy i co trzeba mieć od autorów

  1. Przeczytaj oryginał i spisz parametry: próba, kryteria włączenia, narzędzia, kolejność, wykluczenia, analiza, efekt z przedziałem.
  2. Napisz do autorów. Poproś o materiały, instrukcje, reguły wykluczeń, skrypt analizy. Zapisz datę prośby i odpowiedź.
  3. Sprawdź prawa do narzędzi i potrzebę zgody komisji.
  4. Zrób konspekt: rodzaj replikacji, efekt główny, kryteria oceny, liczebność.
  5. Ustal plan analizy i tabelę odstępstw. Zapisz je z datą. Prerejestracja jest dobrą formą, jeśli promotor się zgadza.
  6. Zrób pilotaż techniczny na kilku osobach (badanie pilotażowe). Danych z pilotażu nie doliczaj do próby głównej.
  7. Zbierz dane, policz analizę z planu, a dodatkowe analizy oznacz jako dodatkowe.
  8. Napisz pracę w kolejności opisanej we wpisie co można napisać przed danymi.

Autorzy nie mają obowiązku odpowiedzieć, więc wyślij wiadomość wcześnie, a jeden raz przypomnij się po dwóch tygodniach.

Dear Dr [surname], I am a [Master's/Bachelor's] student at [university], supervised by [name]. For my thesis I plan a close replication of your study [short reference], testing [effect] in a Polish sample. Could you share any of the following, if available: the full instructions and materials, the exact order of measures, the exclusion rules, and the analysis script? I would also appreciate your view on whether any conditions are essential for the effect to occur. I will cite your work and report any deviations from the original procedure. Thank you for your time. Kind regards, [name]

Tabela odstępstw: oryginał, moje badanie, powód

To najważniejszy element pracy. Pokazuje, co jest powtórzone, a co nie. Wypełnij ją przed zebraniem danych, a po badaniu dopisz tylko to, co faktycznie się zmieniło, z adnotacją. Poniżej przykład fikcyjny: student replikuje badanie, w którym gorsza jakość snu wiązała się z większymi trudnościami z koncentracją (n = 84, r = .41).

Przykładowa tabela odstępstw od badania oryginalnego w fikcyjnej replikacji
ElementOryginałMoje badanieZmiana?Dlaczego i co to może zmienić
PopulacjaStudenci I roku, jedna uczelnia zagranicznaStudenci I roku, dwie uczelnie w PolsceTakCel pracy; inny system studiów może zmienić siłę związku
RekrutacjaPunkty za udziałZaproszenie e-mailem, bez nagrodyTakBrak możliwości przyznania punktów; udział chętniejszych osób
Skala snu10 pozycji, angielskaPolska wersja, 10 pozycji, ta sama punktacjaTak (język)Podaję źródło wersji i rzetelność w mojej próbie
Skala koncentracji8 pozycji, 1–5Polska wersja, 8 pozycji, 1–5Tak (język)Jak wyżej; odpowiedzi w tej samej skali
TrybPapier, w saliFormularz onlineTakWykonalność; mniejsza kontrola warunków badania
TerminŚrodek semestruŚrodek semestruNieCelowo zachowane, bo sesja mogłaby nasilać oba problemy
WykluczeniaPowyżej 20% brakówTo samoNieAnaliza z dodatkowym wykluczeniem nieuważnych osób jest oznaczona jako dodatkowa
AnalizaKorelacja Pearsona, dwustronnieTo samo oraz CI i porównanie efektówDodatekOdpowiada na pytanie o zgodność, nie zastępuje analizy z oryginału
Liczebność84210TakCelowo większa; uzasadnienie w sekcji o liczebności

Odstępstwa nie są wadą same w sobie. Wadą jest ich ukrycie albo ogólnik „z niewielkimi zmianami”. W kolumnie „dlaczego” napisz prawdziwy powód, także gdy brzmi on „nie dało się inaczej”.

Liczebność w skrócie

Nie licz próby wprost z efektu z artykułu. Opublikowane efekty bywają zawyżone (klątwa zwycięzcy). Open Science Collaboration (2015) powtórzyła 100 badań psychologicznych i średnia wielkość efektu w replikacjach była o połowę mniejsza niż w oryginałach. Metody obliczeń opisuje poradnik o planowaniu replikacji, a ogólne zasady wpis o doborze liczebności.

W przykładzie oryginał miał 84 osoby. Często przytaczana reguła mówi, by replikacja miała co najmniej 2.5 raza więcej osób niż oryginał, czyli tu 210. Poniższa tabela pokazuje, co daje dana liczebność. Moc liczona jest dla r = .205, czyli dla efektu o połowę mniejszego od oryginalnego.

Precyzja i moc replikacji przy różnych liczebnościach, przykład fikcyjny
n replikacjiPołowa szerokości 95% CIMoc dla r = .205Moc testu „efekt mniejszy niż r33%”, gdy prawdziwy efekt to 0
84±.206.469.451
150±.154.715.657
210±.130.850.784
300±.109.948.898

Dla r = .205 moc .80 wymaga 184 osób, a .90 wymaga 246 osób. Replikacja tej samej wielkości co oryginał (n = 84) ma moc .976 przy r = .41, ale tylko .469 przy efekcie o połowę mniejszym. Jeśli możesz zebrać tylko 80 osób, nie rezygnuj z tematu, ale od początku napisz, że celem jest oszacowanie efektu, a nie werdykt. Tę samą szczerość zachowaj w rozdziale o ograniczeniach.

Co znaczy „wyszło” i „nie wyszło”

Nie ma jednego kryterium. Anderson i Maxwell (2016) pokazują, że replikacja może mieć różne cele, a myślenie tylko kategorią „istotny albo nieistotny” często jest zbyt wąskie. Pełny przegląd kryteriów jest w poradniku o planowaniu replikacji. W pracy dyplomowej wybierz z góry jedno kryterium główne i kilka pomocniczych.

Rysunek 2 pokazuje cztery możliwe wyniki replikacji tego samego fikcyjnego badania (dane symulowane). Oryginał: r = .41, 95% CI [.21, .57], n = 84.

Wykres przedziałów ufności. Oryginał r = .41, CI od .21 do .57. Replikacja A r = .37, B r = .25, C przy n = 48 r = .10, z szerokim przedziałem, D r = −.01. Tylko w A oryginał mieści się w przedziale replikacji.
Rysunek 2. Oryginał i cztery warianty replikacji: korelacje z 95% CI. Pasmo to przedział oryginału. Obliczenia: R, pakiet pwr (dane symulowane, przykład fikcyjny).
Wyniki czterech fikcyjnych replikacji według kilku kryteriów
PytanieA (n = 210)B (n = 210)C (n = 48)D (n = 210)
r i 95% CI.37 [.25, .48].25 [.12, .37].10 [−.19, .37]−.01 [−.15, .12]
Kierunek jak w oryginaletaktaktaknie
Istotność (p)< .001< .001.496.856
r = .41 w CI replikacjitaknienienie
Czy przedziały się nakładajątaktaktaknie
Różnica efektów (z, p)0.34, .7331.38, .1691.80, .0723.42, < .001
Efekt mniejszy niż r33% = .17 (p).999.893.324.004
Oba badania łącznie.38 [.28, .48].30 [.19, .40].31 [.14, .45].11 [−.00, .23]
Rozsądny opisWynik powtórzonyZwiązek jest, może słabszyNierozstrzygnięteEfektu nie powtórzono

Jak to czytać:

  • Istotność i kierunek są łatwe, ale silnie zależą od liczebności. W wariancie C przy 48 osobach przedział jest zbyt szeroki, by coś rozstrzygnąć.
  • Przedział ufności replikacji mówi, czy wartość z artykułu jest zgodna z nowymi danymi. W B tak nie jest, choć korelacja jest wyraźna.
  • Nakładanie się przedziałów to tylko orientacja, nie test. W B przedziały się nakładają, choć wartość z oryginału leży poza przedziałem replikacji.
  • Porównanie efektów to właściwy test różnicy (po transformacji Fishera; policzysz go w kalkulatorze porównania korelacji). Gelman i Stern (2006) przypominają, że różnica między wynikiem istotnym a nieistotnym sama nie musi być istotna. Porównanie „tam było istotne, tu nie jest” niczego więc nie dowodzi.
  • Mały teleskop (Simonsohn, 2015) pyta, czy efekt jest mniejszy niż taki, który oryginał ledwie by wykrył. Tu r33% = .17 i tylko D daje na to dowód.
  • Połączenie obu badań podaje wspólne oszacowanie, ale dziedziczy zawyżenie oryginału.

Open Science Collaboration (2015) także pokazała, że kryteria dają różne obrazy: wynik istotny miało 36% replikacji, a efekt oryginalny mieścił się w przedziale replikacji w 47% przypadków. Podobnie było w replikacjach studenckich u Hawkinsa i in. (2018), gdzie najczęstszym wynikiem było częściowe potwierdzenie. Nie szukaj więc werdyktu „tak albo nie” tam, gdzie dane mówią „częściowo”. Wykazanie braku efektu wymaga osobnej procedury, zob. test równoważności TOST i wpis o opisie wyniku nieistotnego.

Kryterium główne wybierz przed danymi. Dobieranie go po wyniku to odmiana p-hackingu. Rozsądny zestaw dla pracy: główne – istotny wynik w tym samym kierunku; pomocnicze – CI replikacji, porównanie efektów i mały teleskop.

Układ pracy

Układ jest zwykle taki sam jak w pracy empirycznej, ale każda część ma inne zadanie. Ogólne zasady znajdziesz we wpisach o wstępie, metodzie, wynikach i dyskusji.

Co w poszczególnych częściach pracy jest inne, gdy praca jest replikacją
CzęśćCo jest inne w replikacji
Wstęp i teoriaOryginał opisany dokładnie: próba, pomiar, efekt z CI. Uzasadnienie „dlaczego ten wynik warto powtórzyć”. Przegląd wcześniejszych powtórzeń, także nieudanych.
Cel i hipotezyHipotezy przejęte z oryginału, bez przeformułowań. Rodzaj replikacji nazwany. Pytania dodatkowe oddzielone.
MetodaTabela odstępstw, kontakt z autorami z datą, uzasadnienie liczebności, kryteria oceny zapisane z góry.
WynikiNajpierw analiza dokładnie jak w oryginale. Potem kryteria zgodności. Na końcu analizy dodatkowe, oznaczone. Wynik oryginału obok własnego.
DyskusjaNajpierw odpowiedź na pytanie o powtórzenie. Potem różnice metodologiczne jako możliwe wyjaśnienia, nie jako wymówki.
ZałącznikiKorespondencja streszczona, materiały w zakresie, na który pozwala licencja, a kod analizy dołączony; zob. pakiet replikacyjny.

Dyskusja nieudanej replikacji bez oskarżeń

Różnica wyników nie jest dowodem błędu autorów. Mogła wynikać z przypadku, zawyżenia wyniku w publikacji, innej populacji lub Twoich zmian. Pisz o danych, a nie o ludziach. Poniższe zdania są fikcyjne.

Typowe sformułowania o replikacji, ich problemy i poprawione wersje
Jak bywa napisaneCo nie takPoprawione
„Wyniki podważają rzetelność badań autorów.”Oskarżenie bez podstaw w danych„W tej próbie nie zaobserwowano związku o sile zbliżonej do opisanej w badaniu oryginalnym.”
„Replikacja nie udała się, bo p > .05, więc efektu nie ma.” (wariant C)Mała próba, szeroki przedział; brak istotności nie jest dowodem braku„Przedział ufności [−.19, .37] jest zbyt szeroki, by rozstrzygnąć, czy związek jest słabszy, czy go nie ma.”
„Badanie przeprowadzono podobnie jak oryginalne, z niewielkimi modyfikacjami.”Czytelnik nie wie, co się zmieniło„Różnice względem oryginału zestawiono w tabeli 2; najważniejsze to polska wersja narzędzi i tryb online.”
„Efekt jest mniejszy, ponieważ polscy studenci są inni.”Przyczyna niezbadana, podana jako fakt„Możliwym wyjaśnieniem jest inna populacja, lecz badanie nie pozwala oddzielić jej wpływu od zmiany trybu badania.”

Po nieudanej replikacji unikaj dwóch skrajności: „obalam oryginał” i „na pewno zrobiłem coś źle”. Wymień różnice z tabeli odstępstw, oceń, które mogły mieć znaczenie, i powiedz, czego Twoje dane nie rozstrzygają. Pomoże wpis o ograniczeniach.

Gotowe zdania do pracy

Cel i rodzaj replikacji:

Celem pracy była bliska replikacja badania [autorzy, rok] w grupie [populacja]. W oryginale uzyskano [efekt z 95% CI] w próbie liczącej [n] osób. Replikacja objęła tę samą hipotezę, te same narzędzia w polskiej wersji i tę samą analizę główną. Różnice względem badania oryginalnego zestawiono w tabeli [numer].

Metoda (kontakt i kryteria):

[Data] zwrócono się do autorów badania oryginalnego z prośbą o materiały i reguły wykluczeń; [otrzymano / nie otrzymano odpowiedzi]. Przed zebraniem danych ustalono kryterium główne: istotny statystycznie wynik w tym samym kierunku co w oryginale (dwustronnie, α = .05). Kryteria pomocnicze obejmowały: położenie efektu oryginalnego względem 95% CI replikacji, test różnicy obu efektów oraz porównanie z efektem, który oryginał wykryłby z mocą 33%. Plan zapisano [gdzie, data].

Wyniki (fikcyjny wariant B):

Jakość snu była związana z trudnościami z koncentracją, r(208) = .25, 95% CI [.12, .37], p < .001. Kryterium główne replikacji zostało spełnione. Efekt był słabszy niż w oryginale, r(82) = .41, 95% CI [.21, .57], a wartość oryginalna nie mieściła się w przedziale ufności replikacji. Różnica obu efektów nie była jednak istotna, z = 1.38, p = .169. (Dane fikcyjne.)

Dyskusja (fikcyjny wariant D):

W replikacji nie zaobserwowano związku między jakością snu a trudnościami z koncentracją, r(208) = −.01, 95% CI [−.15, .12], p = .856. Oszacowanie było istotnie mniejsze niż w badaniu oryginalnym (z = 3.42, p < .001) i mniejsze od efektu, który oryginał wykryłby z mocą 33% (r = .17, p = .004). Wynik ten nie przesądza o przyczynie rozbieżności: mogą nią być przypadek, zawyżenie efektu w pojedynczym badaniu albo różnice między badaniami zestawione w tabeli [numer], w tym tryb online i inna populacja. (Dane fikcyjne.)

Najczęstsze błędy

  • Replikacja tylko z nazwy. Inny kwestionariusz, inna analiza, a w tytule „replikacja”. Taka praca to nowe badanie inspirowane oryginałem i tak ją nazwij.
  • Odstępstwa dopisywane po wynikach. Zmiany, które „wyjaśniają” rezultat, wyglądają wtedy jak HARKing.
  • Tylko jedno p. Bez efektu, przedziału i porównania z oryginałem nie wiadomo, co się powtórzyło.
  • Próba taka jak w oryginale. Przy mniejszym prawdziwym efekcie jest to zwykle za mało.
  • Wybór kryterium po danych.
  • Zarzuty wobec autorów. Nie wynikają z jednej próby.
  • Niepoinformowanie promotora o wyborze rodzaju replikacji. To decyzja, która zmienia wnioski, więc powinien o niej wiedzieć przed zbieraniem danych.

Jeżeli chcesz, by ktoś sprawdził plan analizy lub obliczenia przed oddaniem, zajrzyj do oferty dla studentów. Rozumieć i bronić wyników musisz samodzielnie.

Przykład reprodukowalny

Oryginał i replikacja w R: przedziały i porównanie efektów

Kod liczy wszystkie liczby z przykładu. Dane są symulowane, a badanie fikcyjne. Możesz w nim podmienić r_o i n_o na liczby z artykułu oraz zastąpić symulację własną korelacją. Ziarna nie wybierano pod wynik.

Cztery replikacje i liczebność

Dane wejściowe: oryginał r = .41, n = 84; symulacja czterech replikacji; set.seed(5060); pakiet pwr.

Co odczytać: korelacje i przedziały, różnicę z oryginałem (z_rozn, p_rozn), test małego teleskopu (p_tel), łączne oszacowanie i tabelę liczebności.

R
# B506 – replikacja jako praca dyplomowa (przykład fikcyjny, dane symulowane)
# Oryginał: jakość snu a trudności z koncentracją u studentów, n = 84, r = .41.
# Cztery możliwe replikacje; założone prawdziwe korelacje i liczebności są w tabeli plan.
library(pwr)
set.seed(5060)
options(width = 110)

r_o <- 0.41                      # korelacja z artykułu
n_o <- 84                        # liczebność z artykułu
alfa <- 0.05
z_kr <- qnorm(1 - alfa / 2)

# 95% CI dla korelacji (transformacja Fishera)
ci_r <- function(r, n) tanh(atanh(r) + c(-1, 1) * z_kr / sqrt(n - 3))

ci_o <- ci_r(r_o, n_o)
r33 <- pwr.r.test(n = n_o, power = 1 / 3, sig.level = alfa)$r   # „mały teleskop”
bz <- function(x, d = 2) sub("^0", "", sprintf(paste0("%.", d, "f"), x))   # zapis bez zera
cat(sprintf("Oryginał: r = %s, n = %d, 95%% CI [%s, %s]; r33%% = %s\n",
            bz(r_o), n_o, bz(ci_o[1]), bz(ci_o[2]), bz(r33, 3)))
cat(sprintf("Reguła 2.5 × n: %.0f osób\n\n", 2.5 * n_o))

# Jedna replikacja: dane symulowane, korelacja i pięć pytań o zgodność z oryginałem
replikuj <- function(rho, n) {
  sen <- rnorm(n)
  koncentracja <- rho * sen + sqrt(1 - rho^2) * rnorm(n)
  test <- cor.test(sen, koncentracja)
  r_r <- unname(test$estimate)
  ci <- unname(test$conf.int)

  z_o <- atanh(r_o); z_r <- atanh(r_r)
  se_o <- 1 / sqrt(n_o - 3); se_r <- 1 / sqrt(n - 3)
  z_rozn <- (z_o - z_r) / sqrt(se_o^2 + se_r^2)       # czy oba efekty się różnią
  p_rozn <- 2 * pnorm(-abs(z_rozn))
  p_tel <- pnorm((z_r - atanh(r33)) * sqrt(n - 3))    # czy efekt mniejszy niż r33%

  w <- c(1 / se_o^2, 1 / se_r^2)                      # połączenie obu badań
  z_laczny <- sum(w * c(z_o, z_r)) / sum(w)
  ci_l <- tanh(z_laczny + c(-1, 1) * z_kr / sqrt(sum(w)))

  data.frame(n = n, r = r_r, ci_d = ci[1], ci_g = ci[2], p = test$p.value,
             istotny = test$p.value < alfa & r_r > 0,
             oryg_w_ci = r_o >= ci[1] & r_o <= ci[2],
             ci_nakladaja = ci[2] >= ci_o[1] & ci[1] <= ci_o[2],
             z_rozn = z_rozn, p_rozn = p_rozn, p_tel = p_tel,
             r_laczny = tanh(z_laczny), l_d = ci_l[1], l_g = ci_l[2])
}

plan <- data.frame(wariant = c("A", "B", "C", "D"),
                   rho = c(0.40, 0.20, 0.20, 0.02),
                   n = c(210, 210, 48, 210))

wyniki <- cbind(plan["wariant"],
                do.call(rbind, Map(replikuj, plan$rho, plan$n)))
liczbowe <- sapply(wyniki, is.numeric)
wyniki[liczbowe] <- round(wyniki[liczbowe], 6)
print(wyniki[, 1:9], row.names = FALSE)
cat("\n")
print(wyniki[, c(1, 10:15)], row.names = FALSE)

# Liczebność w skrócie: co daje replikacja o danym n
polowa <- r_o / 2
cat(sprintf("\nEfekt o połowę mniejszy: r = %s\n", bz(polowa, 3)))
siatka <- data.frame(n = c(84, 150, 210, 300))
siatka$polszerokosc_ci <- sapply(siatka$n, function(k) diff(ci_r(polowa, k)) / 2)
siatka$moc_oryginal <- sapply(siatka$n, function(k) pwr.r.test(n = k, r = r_o)$power)
siatka$moc_polowa <- sapply(siatka$n, function(k) pwr.r.test(n = k, r = polowa)$power)
siatka$moc_tel_przy_zerze <- sapply(siatka$n, function(k)
  pnorm(qnorm(0.05) + atanh(r33) * sqrt(k - 3)))
print(round(siatka, 3), row.names = FALSE)
cat(sprintf("\nn dla mocy .80 przy r = %s: %.0f\n", bz(polowa, 3),
            ceiling(pwr.r.test(r = polowa, power = 0.80)$n)))
cat(sprintf("n dla mocy .90 przy r = %s: %.0f\n", bz(polowa, 3),
            ceiling(pwr.r.test(r = polowa, power = 0.90)$n)))
Wynik
Oryginał: r = .41, n = 84, 95% CI [.21, .57]; r33% = .167
Reguła 2.5 × n: 210 osób

 wariant   n         r      ci_d     ci_g        p istotny oryg_w_ci ci_nakladaja
       A 210  0.372145  0.249316 0.483190 0.000000    TRUE      TRUE         TRUE
       B 210  0.249861  0.118478 0.372645 0.000255    TRUE     FALSE         TRUE
       C  48  0.100581 -0.188954 0.374026 0.496376   FALSE     FALSE         TRUE
       D 210 -0.012559 -0.147699 0.123040 0.856428   FALSE     FALSE        FALSE

 wariant   z_rozn   p_rozn    p_tel r_laczny       l_d      l_g
       A 0.341074 0.733048 0.999295 0.382925  0.280284 0.476908
       B 1.376067 0.168801 0.892683 0.296782  0.188224 0.398176
       C 1.800136 0.071839 0.323915 0.305958  0.140536 0.454761
       D 3.419601 0.000627 0.004495 0.113003 -0.002004 0.225060

Efekt o połowę mniejszy: r = .205
   n polszerokosc_ci moc_oryginal moc_polowa moc_tel_przy_zerze
  84           0.206        0.976      0.469              0.451
 150           0.154        1.000      0.715              0.657
 210           0.130        1.000      0.850              0.784
 300           0.109        1.000      0.948              0.898

n dla mocy .80 przy r = .205: 184
n dla mocy .90 przy r = .205: 246

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 z pakietem pwr; rysunki przygotowano w pakietach ggplot2 i svglite. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. pwr (wersja 1.3.0): Champely, S. (2020). pwr: Basic functions for power analysis [R package]. https://doi.org/10.32614/CRAN.package.pwr
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  4. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An ‘SVG’ graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Lista kontrolna przed zebraniem danych

  • Czy promotor zaakceptował replikację i jej rodzaj, a regulamin jej nie wyklucza?
  • Czy wybrano jeden efekt główny z oryginału, wraz z przedziałem ufności?
  • Czy poproszono autorów o materiały i zapisano datę?
  • Czy masz prawo użyć narzędzi i wiesz, czy potrzebna jest zgoda komisji?
  • Czy tabela odstępstw jest wypełniona, a powody są prawdziwe?
  • Czy liczebność uzasadniono inaczej niż samym efektem z artykułu?
  • Czy kryterium główne i pomocnicze zapisano z datą przed danymi?
  • Czy zaplanowano zdanie do pracy na każdy z czterech wyników: powtórzenie, słabszy efekt, nierozstrzygnięcie, brak efektu?

Najczęstsze pytania

Czy replikacja może być pracą magisterską?

Może, jeśli akceptuje ją promotor i nie wyklucza jej regulamin. Wkładem jest nowa próba i ocena, czy wynik się powtarza. Często dobrze jest dodać jedno jasno oddzielone pytanie własne. Wymagania zależą od uczelni, więc ustal to przed zgłoszeniem tematu.

Jak uzasadnić replikację we wstępie pracy?

Pokaż, dlaczego wynik warto powtórzyć: co na nim polega, jak mała była próba i czy istnieją powtórzenia w Twojej populacji. Podaj efekt z oryginału z przedziałem ufności. Nie pisz, że badanie jest „pierwsze”, tylko że sprawdzasz, czy wynik się utrzymuje.

Czy w replikacji mogę użyć polskiej wersji kwestionariusza?

Tak, to zwykle konieczne, ale jest to odstępstwo, które trzeba opisać. Podaj źródło polskiej wersji, jej właściwości i rzetelność w swojej próbie. Jeśli polskiej wersji nie ma, adaptacja jest zwykle osobnym zadaniem.

Co napisać, gdy replikacja nie potwierdziła wyniku?

Podaj efekt z przedziałem, porównaj go z oryginałem, a potem wymień możliwe przyczyny: przypadek, zawyżenie w publikacji, różnice w populacji i procedurze. Nie oskarżaj autorów i nie twierdź, że efektu nie ma, jeśli przedział jest szeroki.

Czy replikacja cudzego badania to plagiat?

Samo powtórzenie jawnie cytowanej procedury na własnych danych zwykle nie jest kopiowaniem cudzej pracy, o ile tekst piszesz sam(a), a oryginał cytujesz. Osobną sprawą są licencje narzędzi i zasady uczelni, które warto sprawdzić. W razie wątpliwości zapytaj promotora; to nie jest porada prawna.

Powiązane hasła

Przeczytaj też

Planujesz replikację i chcesz sprawdzić, czy plan się broni?

Sprawdzimy plan analizy i liczebność, policzymy porównanie z oryginałem w R lub SPSS i wyjaśnimy wyniki tak, żebyś umiał(a) samodzielnie je opisać i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Anderson, S. F., & Maxwell, S. E. (2016). There’s more than one way to conduct a replication study: Beyond statistical significance. Psychological Methods, 21(1), 1–12. https://doi.org/10.1037/met0000051
  2. Brandt, M. J., IJzerman, H., Dijksterhuis, A., Farach, F. J., Geller, J., Giner-Sorolla, R., Grange, J. A., Perugini, M., Spies, J. R., & van 't Veer, A. (2014). The Replication Recipe: What makes for a convincing replication? Journal of Experimental Social Psychology, 50, 217–224. https://doi.org/10.1016/j.jesp.2013.10.005 ● Otwarty dostęp
  3. Frank, M. C., & Saxe, R. (2012). Teaching replication. Perspectives on Psychological Science, 7(6), 600–604. https://doi.org/10.1177/1745691612460686 ● Otwarty dostęp
  4. Gelman, A., & Stern, H. (2006). The difference between “significant” and “not significant” is not itself statistically significant. The American Statistician, 60(4), 328–331. https://doi.org/10.1198/000313006x152649
  5. Hawkins, R. X. D., Smith, E. N., Au, C., Arias, J. M., Catapano, R., Hermann, E., Keil, M., Lampinen, A., Raposo, S., Reynolds, J., Salehi, S., Salloum, J., Tan, J., & Frank, M. C. (2018). Improving the replicability of psychological science through pedagogy. Advances in Methods and Practices in Psychological Science, 1(1), 7–18. https://doi.org/10.1177/2515245917740427 ● Otwarty dostęp
  6. Makel, M. C., Plucker, J. A., & Hegarty, B. (2012). Replications in psychology research: How often do they really occur? Perspectives on Psychological Science, 7(6), 537–542. https://doi.org/10.1177/1745691612460688 ● Otwarty dostęp
  7. Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), Article aac4716. https://doi.org/10.1126/science.aac4716 ● Otwarty dostęp: pełny tekst
  8. Simonsohn, U. (2015). Small telescopes: Detectability and the evaluation of replication results. Psychological Science, 26(5), 559–569. https://doi.org/10.1177/0956797614567341
  9. Zwaan, R. A., Etz, A., Lucas, R. E., & Donnellan, M. B. (2018). Making replication mainstream. Behavioral and Brain Sciences, 41, Article e120. https://doi.org/10.1017/s0140525x17001972 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@article{anderson2016more, author={Anderson, Samantha F. and Maxwell, Scott E.}, title={{There’s more than one way to conduct a replication study: Beyond statistical significance}}, journal={Psychological Methods}, year={2016}, volume={21}, number={1}, pages={1--12}, doi={10.1037/met0000051}}
@article{brandt2014replication, author={Brandt, Mark J. and IJzerman, Hans and Dijksterhuis, Ap and Farach, Frank J. and Geller, Jason and Giner-Sorolla, Roger and Grange, James A. and Perugini, Marco and Spies, Jeffrey R. and van 't Veer, Anna}, title={{The Replication Recipe: What makes for a convincing replication?}}, journal={Journal of Experimental Social Psychology}, year={2014}, volume={50}, pages={217--224}, doi={10.1016/j.jesp.2013.10.005}}
@article{frank2012teaching, author={Frank, Michael C. and Saxe, Rebecca}, title={{Teaching replication}}, journal={Perspectives on Psychological Science}, year={2012}, volume={7}, number={6}, pages={600--604}, doi={10.1177/1745691612460686}}
@article{gelman2006difference, author={Gelman, Andrew and Stern, Hal}, title={{The difference between “significant” and “not significant” is not itself statistically significant}}, journal={The American Statistician}, year={2006}, volume={60}, number={4}, pages={328--331}, doi={10.1198/000313006x152649}}
@article{hawkins2018improving, author={Hawkins, Robert X. D. and Smith, Eric N. and Au, Carolyn and Arias, Juan Miguel and Catapano, Rhia and Hermann, Eric and Keil, Martin and Lampinen, Andrew and Raposo, Sarah and Reynolds, Jesse and Salehi, Shima and Salloum, Justin and Tan, Jed and Frank, Michael C.}, title={{Improving the replicability of psychological science through pedagogy}}, journal={Advances in Methods and Practices in Psychological Science}, year={2018}, volume={1}, number={1}, pages={7--18}, doi={10.1177/2515245917740427}}
@article{makel2012replications, author={Makel, Matthew C. and Plucker, Jonathan A. and Hegarty, Boyd}, title={{Replications in psychology research: How often do they really occur?}}, journal={Perspectives on Psychological Science}, year={2012}, volume={7}, number={6}, pages={537--542}, doi={10.1177/1745691612460688}}
@article{osc2015estimating, author={Open Science Collaboration}, title={{Estimating the reproducibility of psychological science}}, journal={Science}, year={2015}, volume={349}, number={6251}, eid={aac4716}, doi={10.1126/science.aac4716}}
@article{simonsohn2015small, author={Simonsohn, Uri}, title={{Small telescopes: Detectability and the evaluation of replication results}}, journal={Psychological Science}, year={2015}, volume={26}, number={5}, pages={559--569}, doi={10.1177/0956797614567341}}
@article{zwaan2018making, author={Zwaan, Rolf A. and Etz, Alexander and Lucas, Richard E. and Donnellan, M. Brent}, title={{Making replication mainstream}}, journal={Behavioral and Brain Sciences}, year={2018}, volume={41}, eid={e120}, doi={10.1017/s0140525x17001972}}
R