Kiedy replikacja ma sens w pracy dyplomowej
Masz temat, ale nie masz pomysłu na „coś nowego”. Albo znalazłaś artykuł, którego wynik wydaje się ważny, a opiera się na jednej małej próbie. Powtórzenie takiego badania może być dobrą pracą licencjacką lub magisterską. Musi jednak być pomyślane jako replikacja od pierwszego dnia, a nie jako badanie „podobne do czegoś”.
Ten wpis dotyczy decyzji i opisu w pracy dyplomowej. Definicje są w haśle replikowalność, a tło w haśle o kryzysie replikacyjnym. Planowanie na poziomie doktoratu lub artykułu, czyli liczebność, małe teleskopy i registered reports, opisuje poradnik jak zaplanować badanie replikacyjne. O replikacji jako jednej z uczciwych opcji bez nowatorstwa pisze też wpis o luce badawczej.
Replikacja zwykle ma sens, gdy spełnione są trzy warunki:
- Wynik coś znaczy. Opiera się na nim teoria, program albo praktyka, a dowody są skąpe.
- Da się to powtórzyć. Masz procedurę, narzędzia i dostęp do podobnych osób.
- Każdy wynik będzie wart opisania. Także wtedy, gdy efektu nie będzie.
Nie jest dobrym pomysłem, gdy szukasz najkrótszej drogi. Replikacja wymaga zwykle większej próby niż oryginał, korespondencji z autorami i dokładnej dokumentacji. Nie sprawdzi się też, gdy promotor oczekuje modelu własnego autorstwa albo gdy badanie wymaga aparatury, której nie masz.
Czy promotor i uczelnia to zaakceptują
Odpowiedź zależy od konkretnego promotora, kierunku i regulaminu. Nie ma jednej reguły, a wymagania co do samodzielności i wkładu formułują zwykle uczelnie lub wydziały (zob. wpis o trzech poziomach prac). Porozmawiaj o tym przed zgłoszeniem tematu i sprawdź, czy regulamin nie zawiera wymogów, które replikacja mogłaby naruszać. Gdy pojawia się zastrzeżenie, przygotuj konkretną odpowiedź, a decyzję zostaw promotorowi.
| Zastrzeżenie | Co możesz odpowiedzieć |
|---|---|
| „To nie jest nic nowego” | Nowe są dane, populacja i oszacowanie efektu. Wkładem jest ocena, czy wynik się utrzymuje. Makel i in. (2012) oszacowali, że replikacje stanowiły około 1.07% publikacji w 100 czasopismach psychologicznych o najwyższym wskaźniku wpływu. |
| „Student nie umie zrobić dobrej replikacji” | Frank i Saxe (2012) argumentują, że replikowanie niedawnych wyników dobrze uczy metod, a przy właściwym nadzorze może być realnym wkładem. Hawkins i in. (2018) opisali 11 zarejestrowanych replikacji wykonanych w ramach kursu na poziomie graduate, wraz z trudnościami, na które trafili. |
| „A jeśli nie wyjdzie?” | Kryteria będą zapisane przed zebraniem danych, więc każdy wynik da się uczciwie opisać. Zob. co zrobić, gdy hipoteza się nie potwierdzi. |
| „Replikacje bezpośrednie nic nie wnoszą teoretycznie” | Zwaan i in. (2018) omawiają najczęstsze zarzuty i dochodzą do wniosku, że nie ma teoretycznych ani statystycznych przeszkód, by wykonywać je rutynowo. Możesz też zaproponować dodatkowe, jasno oddzielone pytanie. |
| „Czy to nie plagiat?” | Oryginał jest jawnie cytowany, dane są Twoje, a tekst piszesz sam(a). Materiały i kwestionariusze mogą jednak mieć licencję (zob. licencja narzędzia badawczego). |
Możesz wysłać promotorowi krótką propozycję. Nie przekonuj, tylko pokaż, co masz i o co pytasz.
Trzy rodzaje replikacji
Nazwij swój rodzaj od razu. Od niego zależy, co wolno Ci wywnioskować.
| Rodzaj | Co się zmienia | Pytanie | Główne ryzyko |
|---|---|---|---|
| Bezpośrednia (bliska) | Jak najmniej: te same materiały, pomiar, analiza; nowe osoby | Czy wynik się powtarza? | W polskich warunkach zawsze coś się różni, więc „identyczna” jest fikcją |
| W innej populacji | Świadomie jedna rzecz: kraj, wiek, zawód | Czy wynik przenosi się na tę grupę? | Brak efektu może oznaczać, że go nie ma, albo że działa tylko gdzie indziej |
| Koncepcyjna (konceptualna) | Hipoteza zostaje, zmienia się manipulacja lub pomiar | Czy wynik nie zależy od jednej metody? | Porażka jest trudna do zinterpretowania: efekt czy nowa operacjonalizacja? |
W pracy dyplomowej najbezpieczniejsza jest replikacja bliska albo w innej populacji, z jedną nazwaną zmianą. Pytanie o trafność zewnętrzną stawiasz wtedy wprost. Brandt i in. (2014) sformułowali „Replication Recipe”, czyli zestaw kryteriów przekonującej bliskiej replikacji. To dobra lista do rozmowy z promotorem.
Jak wybrać badanie do powtórzenia
Zacznij od kilku kandydatów i sprawdź każdego według rysunku 1. Ogólny test wykonalności tematu opisuje wpis czy temat da się zbadać.
Sprawdź też cechy samego badania:
- Opis metody. Czy z artykułu da się odtworzyć procedurę? Pomoże czytanie artykułu przed cytowaniem.
- Efekt główny. Replikuj wynik, na którym stoi artykuł, a nie przypadkową analizę dodatkową. Efekt główny wskaż przed zebraniem danych.
- Narzędzie. Poszukaj polskiej wersji kwestionariusza. Jeśli jej nie ma, adaptacja to zwykle osobna praca.
- Czas powstania. Zjawiska związane z technologią czy prawem mogły się zmienić. Wtedy brak efektu niewiele mówi o oryginale.
- Etyka. Badanie, które wymaga wprowadzenia w błąd lub dotyczy pacjentów, często potrzebuje zgody komisji. Sprawdź to wcześnie (wniosek do komisji).
Nie wybieraj badania dlatego, że „na pewno jest fałszywe”. Taka motywacja łatwo przenika do decyzji o próbie i analizie, a potem do tekstu dyskusji.
Plan pracy i co trzeba mieć od autorów
- Przeczytaj oryginał i spisz parametry: próba, kryteria włączenia, narzędzia, kolejność, wykluczenia, analiza, efekt z przedziałem.
- Napisz do autorów. Poproś o materiały, instrukcje, reguły wykluczeń, skrypt analizy. Zapisz datę prośby i odpowiedź.
- Sprawdź prawa do narzędzi i potrzebę zgody komisji.
- Zrób konspekt: rodzaj replikacji, efekt główny, kryteria oceny, liczebność.
- Ustal plan analizy i tabelę odstępstw. Zapisz je z datą. Prerejestracja jest dobrą formą, jeśli promotor się zgadza.
- Zrób pilotaż techniczny na kilku osobach (badanie pilotażowe). Danych z pilotażu nie doliczaj do próby głównej.
- Zbierz dane, policz analizę z planu, a dodatkowe analizy oznacz jako dodatkowe.
- Napisz pracę w kolejności opisanej we wpisie co można napisać przed danymi.
Autorzy nie mają obowiązku odpowiedzieć, więc wyślij wiadomość wcześnie, a jeden raz przypomnij się po dwóch tygodniach.
Tabela odstępstw: oryginał, moje badanie, powód
To najważniejszy element pracy. Pokazuje, co jest powtórzone, a co nie. Wypełnij ją przed zebraniem danych, a po badaniu dopisz tylko to, co faktycznie się zmieniło, z adnotacją. Poniżej przykład fikcyjny: student replikuje badanie, w którym gorsza jakość snu wiązała się z większymi trudnościami z koncentracją (n = 84, r = .41).
| Element | Oryginał | Moje badanie | Zmiana? | Dlaczego i co to może zmienić |
|---|---|---|---|---|
| Populacja | Studenci I roku, jedna uczelnia zagraniczna | Studenci I roku, dwie uczelnie w Polsce | Tak | Cel pracy; inny system studiów może zmienić siłę związku |
| Rekrutacja | Punkty za udział | Zaproszenie e-mailem, bez nagrody | Tak | Brak możliwości przyznania punktów; udział chętniejszych osób |
| Skala snu | 10 pozycji, angielska | Polska wersja, 10 pozycji, ta sama punktacja | Tak (język) | Podaję źródło wersji i rzetelność w mojej próbie |
| Skala koncentracji | 8 pozycji, 1–5 | Polska wersja, 8 pozycji, 1–5 | Tak (język) | Jak wyżej; odpowiedzi w tej samej skali |
| Tryb | Papier, w sali | Formularz online | Tak | Wykonalność; mniejsza kontrola warunków badania |
| Termin | Środek semestru | Środek semestru | Nie | Celowo zachowane, bo sesja mogłaby nasilać oba problemy |
| Wykluczenia | Powyżej 20% braków | To samo | Nie | Analiza z dodatkowym wykluczeniem nieuważnych osób jest oznaczona jako dodatkowa |
| Analiza | Korelacja Pearsona, dwustronnie | To samo oraz CI i porównanie efektów | Dodatek | Odpowiada na pytanie o zgodność, nie zastępuje analizy z oryginału |
| Liczebność | 84 | 210 | Tak | Celowo większa; uzasadnienie w sekcji o liczebności |
Odstępstwa nie są wadą same w sobie. Wadą jest ich ukrycie albo ogólnik „z niewielkimi zmianami”. W kolumnie „dlaczego” napisz prawdziwy powód, także gdy brzmi on „nie dało się inaczej”.
Liczebność w skrócie
Nie licz próby wprost z efektu z artykułu. Opublikowane efekty bywają zawyżone (klątwa zwycięzcy). Open Science Collaboration (2015) powtórzyła 100 badań psychologicznych i średnia wielkość efektu w replikacjach była o połowę mniejsza niż w oryginałach. Metody obliczeń opisuje poradnik o planowaniu replikacji, a ogólne zasady wpis o doborze liczebności.
W przykładzie oryginał miał 84 osoby. Często przytaczana reguła mówi, by replikacja miała co najmniej 2.5 raza więcej osób niż oryginał, czyli tu 210. Poniższa tabela pokazuje, co daje dana liczebność. Moc liczona jest dla r = .205, czyli dla efektu o połowę mniejszego od oryginalnego.
| n replikacji | Połowa szerokości 95% CI | Moc dla r = .205 | Moc testu „efekt mniejszy niż r33%”, gdy prawdziwy efekt to 0 |
|---|---|---|---|
| 84 | ±.206 | .469 | .451 |
| 150 | ±.154 | .715 | .657 |
| 210 | ±.130 | .850 | .784 |
| 300 | ±.109 | .948 | .898 |
Dla r = .205 moc .80 wymaga 184 osób, a .90 wymaga 246 osób. Replikacja tej samej wielkości co oryginał (n = 84) ma moc .976 przy r = .41, ale tylko .469 przy efekcie o połowę mniejszym. Jeśli możesz zebrać tylko 80 osób, nie rezygnuj z tematu, ale od początku napisz, że celem jest oszacowanie efektu, a nie werdykt. Tę samą szczerość zachowaj w rozdziale o ograniczeniach.
Co znaczy „wyszło” i „nie wyszło”
Nie ma jednego kryterium. Anderson i Maxwell (2016) pokazują, że replikacja może mieć różne cele, a myślenie tylko kategorią „istotny albo nieistotny” często jest zbyt wąskie. Pełny przegląd kryteriów jest w poradniku o planowaniu replikacji. W pracy dyplomowej wybierz z góry jedno kryterium główne i kilka pomocniczych.
Rysunek 2 pokazuje cztery możliwe wyniki replikacji tego samego fikcyjnego badania (dane symulowane). Oryginał: r = .41, 95% CI [.21, .57], n = 84.
| Pytanie | A (n = 210) | B (n = 210) | C (n = 48) | D (n = 210) |
|---|---|---|---|---|
| r i 95% CI | .37 [.25, .48] | .25 [.12, .37] | .10 [−.19, .37] | −.01 [−.15, .12] |
| Kierunek jak w oryginale | tak | tak | tak | nie |
| Istotność (p) | < .001 | < .001 | .496 | .856 |
| r = .41 w CI replikacji | tak | nie | nie | nie |
| Czy przedziały się nakładają | tak | tak | tak | nie |
| Różnica efektów (z, p) | 0.34, .733 | 1.38, .169 | 1.80, .072 | 3.42, < .001 |
| Efekt mniejszy niż r33% = .17 (p) | .999 | .893 | .324 | .004 |
| Oba badania łącznie | .38 [.28, .48] | .30 [.19, .40] | .31 [.14, .45] | .11 [−.00, .23] |
| Rozsądny opis | Wynik powtórzony | Związek jest, może słabszy | Nierozstrzygnięte | Efektu nie powtórzono |
Jak to czytać:
- Istotność i kierunek są łatwe, ale silnie zależą od liczebności. W wariancie C przy 48 osobach przedział jest zbyt szeroki, by coś rozstrzygnąć.
- Przedział ufności replikacji mówi, czy wartość z artykułu jest zgodna z nowymi danymi. W B tak nie jest, choć korelacja jest wyraźna.
- Nakładanie się przedziałów to tylko orientacja, nie test. W B przedziały się nakładają, choć wartość z oryginału leży poza przedziałem replikacji.
- Porównanie efektów to właściwy test różnicy (po transformacji Fishera; policzysz go w kalkulatorze porównania korelacji). Gelman i Stern (2006) przypominają, że różnica między wynikiem istotnym a nieistotnym sama nie musi być istotna. Porównanie „tam było istotne, tu nie jest” niczego więc nie dowodzi.
- Mały teleskop (Simonsohn, 2015) pyta, czy efekt jest mniejszy niż taki, który oryginał ledwie by wykrył. Tu r33% = .17 i tylko D daje na to dowód.
- Połączenie obu badań podaje wspólne oszacowanie, ale dziedziczy zawyżenie oryginału.
Open Science Collaboration (2015) także pokazała, że kryteria dają różne obrazy: wynik istotny miało 36% replikacji, a efekt oryginalny mieścił się w przedziale replikacji w 47% przypadków. Podobnie było w replikacjach studenckich u Hawkinsa i in. (2018), gdzie najczęstszym wynikiem było częściowe potwierdzenie. Nie szukaj więc werdyktu „tak albo nie” tam, gdzie dane mówią „częściowo”. Wykazanie braku efektu wymaga osobnej procedury, zob. test równoważności TOST i wpis o opisie wyniku nieistotnego.
Kryterium główne wybierz przed danymi. Dobieranie go po wyniku to odmiana p-hackingu. Rozsądny zestaw dla pracy: główne – istotny wynik w tym samym kierunku; pomocnicze – CI replikacji, porównanie efektów i mały teleskop.
Układ pracy
Układ jest zwykle taki sam jak w pracy empirycznej, ale każda część ma inne zadanie. Ogólne zasady znajdziesz we wpisach o wstępie, metodzie, wynikach i dyskusji.
| Część | Co jest inne w replikacji |
|---|---|
| Wstęp i teoria | Oryginał opisany dokładnie: próba, pomiar, efekt z CI. Uzasadnienie „dlaczego ten wynik warto powtórzyć”. Przegląd wcześniejszych powtórzeń, także nieudanych. |
| Cel i hipotezy | Hipotezy przejęte z oryginału, bez przeformułowań. Rodzaj replikacji nazwany. Pytania dodatkowe oddzielone. |
| Metoda | Tabela odstępstw, kontakt z autorami z datą, uzasadnienie liczebności, kryteria oceny zapisane z góry. |
| Wyniki | Najpierw analiza dokładnie jak w oryginale. Potem kryteria zgodności. Na końcu analizy dodatkowe, oznaczone. Wynik oryginału obok własnego. |
| Dyskusja | Najpierw odpowiedź na pytanie o powtórzenie. Potem różnice metodologiczne jako możliwe wyjaśnienia, nie jako wymówki. |
| Załączniki | Korespondencja streszczona, materiały w zakresie, na który pozwala licencja, a kod analizy dołączony; zob. pakiet replikacyjny. |
Dyskusja nieudanej replikacji bez oskarżeń
Różnica wyników nie jest dowodem błędu autorów. Mogła wynikać z przypadku, zawyżenia wyniku w publikacji, innej populacji lub Twoich zmian. Pisz o danych, a nie o ludziach. Poniższe zdania są fikcyjne.
| Jak bywa napisane | Co nie tak | Poprawione |
|---|---|---|
| „Wyniki podważają rzetelność badań autorów.” | Oskarżenie bez podstaw w danych | „W tej próbie nie zaobserwowano związku o sile zbliżonej do opisanej w badaniu oryginalnym.” |
| „Replikacja nie udała się, bo p > .05, więc efektu nie ma.” (wariant C) | Mała próba, szeroki przedział; brak istotności nie jest dowodem braku | „Przedział ufności [−.19, .37] jest zbyt szeroki, by rozstrzygnąć, czy związek jest słabszy, czy go nie ma.” |
| „Badanie przeprowadzono podobnie jak oryginalne, z niewielkimi modyfikacjami.” | Czytelnik nie wie, co się zmieniło | „Różnice względem oryginału zestawiono w tabeli 2; najważniejsze to polska wersja narzędzi i tryb online.” |
| „Efekt jest mniejszy, ponieważ polscy studenci są inni.” | Przyczyna niezbadana, podana jako fakt | „Możliwym wyjaśnieniem jest inna populacja, lecz badanie nie pozwala oddzielić jej wpływu od zmiany trybu badania.” |
Po nieudanej replikacji unikaj dwóch skrajności: „obalam oryginał” i „na pewno zrobiłem coś źle”. Wymień różnice z tabeli odstępstw, oceń, które mogły mieć znaczenie, i powiedz, czego Twoje dane nie rozstrzygają. Pomoże wpis o ograniczeniach.
Gotowe zdania do pracy
Cel i rodzaj replikacji:
Metoda (kontakt i kryteria):
Wyniki (fikcyjny wariant B):
Dyskusja (fikcyjny wariant D):
Najczęstsze błędy
- Replikacja tylko z nazwy. Inny kwestionariusz, inna analiza, a w tytule „replikacja”. Taka praca to nowe badanie inspirowane oryginałem i tak ją nazwij.
- Odstępstwa dopisywane po wynikach. Zmiany, które „wyjaśniają” rezultat, wyglądają wtedy jak HARKing.
- Tylko jedno p. Bez efektu, przedziału i porównania z oryginałem nie wiadomo, co się powtórzyło.
- Próba taka jak w oryginale. Przy mniejszym prawdziwym efekcie jest to zwykle za mało.
- Wybór kryterium po danych.
- Zarzuty wobec autorów. Nie wynikają z jednej próby.
- Niepoinformowanie promotora o wyborze rodzaju replikacji. To decyzja, która zmienia wnioski, więc powinien o niej wiedzieć przed zbieraniem danych.
Jeżeli chcesz, by ktoś sprawdził plan analizy lub obliczenia przed oddaniem, zajrzyj do oferty dla studentów. Rozumieć i bronić wyników musisz samodzielnie.
Oryginał i replikacja w R: przedziały i porównanie efektów
Kod liczy wszystkie liczby z przykładu. Dane są symulowane, a badanie fikcyjne. Możesz w nim podmienić r_o i n_o na liczby z artykułu oraz zastąpić symulację własną korelacją. Ziarna nie wybierano pod wynik.
Cztery replikacje i liczebność
R
# B506 – replikacja jako praca dyplomowa (przykład fikcyjny, dane symulowane)
# Oryginał: jakość snu a trudności z koncentracją u studentów, n = 84, r = .41.
# Cztery możliwe replikacje; założone prawdziwe korelacje i liczebności są w tabeli plan.
library(pwr)
set.seed(5060)
options(width = 110)
r_o <- 0.41 # korelacja z artykułu
n_o <- 84 # liczebność z artykułu
alfa <- 0.05
z_kr <- qnorm(1 - alfa / 2)
# 95% CI dla korelacji (transformacja Fishera)
ci_r <- function(r, n) tanh(atanh(r) + c(-1, 1) * z_kr / sqrt(n - 3))
ci_o <- ci_r(r_o, n_o)
r33 <- pwr.r.test(n = n_o, power = 1 / 3, sig.level = alfa)$r # „mały teleskop”
bz <- function(x, d = 2) sub("^0", "", sprintf(paste0("%.", d, "f"), x)) # zapis bez zera
cat(sprintf("Oryginał: r = %s, n = %d, 95%% CI [%s, %s]; r33%% = %s\n",
bz(r_o), n_o, bz(ci_o[1]), bz(ci_o[2]), bz(r33, 3)))
cat(sprintf("Reguła 2.5 × n: %.0f osób\n\n", 2.5 * n_o))
# Jedna replikacja: dane symulowane, korelacja i pięć pytań o zgodność z oryginałem
replikuj <- function(rho, n) {
sen <- rnorm(n)
koncentracja <- rho * sen + sqrt(1 - rho^2) * rnorm(n)
test <- cor.test(sen, koncentracja)
r_r <- unname(test$estimate)
ci <- unname(test$conf.int)
z_o <- atanh(r_o); z_r <- atanh(r_r)
se_o <- 1 / sqrt(n_o - 3); se_r <- 1 / sqrt(n - 3)
z_rozn <- (z_o - z_r) / sqrt(se_o^2 + se_r^2) # czy oba efekty się różnią
p_rozn <- 2 * pnorm(-abs(z_rozn))
p_tel <- pnorm((z_r - atanh(r33)) * sqrt(n - 3)) # czy efekt mniejszy niż r33%
w <- c(1 / se_o^2, 1 / se_r^2) # połączenie obu badań
z_laczny <- sum(w * c(z_o, z_r)) / sum(w)
ci_l <- tanh(z_laczny + c(-1, 1) * z_kr / sqrt(sum(w)))
data.frame(n = n, r = r_r, ci_d = ci[1], ci_g = ci[2], p = test$p.value,
istotny = test$p.value < alfa & r_r > 0,
oryg_w_ci = r_o >= ci[1] & r_o <= ci[2],
ci_nakladaja = ci[2] >= ci_o[1] & ci[1] <= ci_o[2],
z_rozn = z_rozn, p_rozn = p_rozn, p_tel = p_tel,
r_laczny = tanh(z_laczny), l_d = ci_l[1], l_g = ci_l[2])
}
plan <- data.frame(wariant = c("A", "B", "C", "D"),
rho = c(0.40, 0.20, 0.20, 0.02),
n = c(210, 210, 48, 210))
wyniki <- cbind(plan["wariant"],
do.call(rbind, Map(replikuj, plan$rho, plan$n)))
liczbowe <- sapply(wyniki, is.numeric)
wyniki[liczbowe] <- round(wyniki[liczbowe], 6)
print(wyniki[, 1:9], row.names = FALSE)
cat("\n")
print(wyniki[, c(1, 10:15)], row.names = FALSE)
# Liczebność w skrócie: co daje replikacja o danym n
polowa <- r_o / 2
cat(sprintf("\nEfekt o połowę mniejszy: r = %s\n", bz(polowa, 3)))
siatka <- data.frame(n = c(84, 150, 210, 300))
siatka$polszerokosc_ci <- sapply(siatka$n, function(k) diff(ci_r(polowa, k)) / 2)
siatka$moc_oryginal <- sapply(siatka$n, function(k) pwr.r.test(n = k, r = r_o)$power)
siatka$moc_polowa <- sapply(siatka$n, function(k) pwr.r.test(n = k, r = polowa)$power)
siatka$moc_tel_przy_zerze <- sapply(siatka$n, function(k)
pnorm(qnorm(0.05) + atanh(r33) * sqrt(k - 3)))
print(round(siatka, 3), row.names = FALSE)
cat(sprintf("\nn dla mocy .80 przy r = %s: %.0f\n", bz(polowa, 3),
ceiling(pwr.r.test(r = polowa, power = 0.80)$n)))
cat(sprintf("n dla mocy .90 przy r = %s: %.0f\n", bz(polowa, 3),
ceiling(pwr.r.test(r = polowa, power = 0.90)$n)))Wynik
Oryginał: r = .41, n = 84, 95% CI [.21, .57]; r33% = .167
Reguła 2.5 × n: 210 osób
wariant n r ci_d ci_g p istotny oryg_w_ci ci_nakladaja
A 210 0.372145 0.249316 0.483190 0.000000 TRUE TRUE TRUE
B 210 0.249861 0.118478 0.372645 0.000255 TRUE FALSE TRUE
C 48 0.100581 -0.188954 0.374026 0.496376 FALSE FALSE TRUE
D 210 -0.012559 -0.147699 0.123040 0.856428 FALSE FALSE FALSE
wariant z_rozn p_rozn p_tel r_laczny l_d l_g
A 0.341074 0.733048 0.999295 0.382925 0.280284 0.476908
B 1.376067 0.168801 0.892683 0.296782 0.188224 0.398176
C 1.800136 0.071839 0.323915 0.305958 0.140536 0.454761
D 3.419601 0.000627 0.004495 0.113003 -0.002004 0.225060
Efekt o połowę mniejszy: r = .205
n polszerokosc_ci moc_oryginal moc_polowa moc_tel_przy_zerze
84 0.206 0.976 0.469 0.451
150 0.154 1.000 0.715 0.657
210 0.130 1.000 0.850 0.784
300 0.109 1.000 0.948 0.898
n dla mocy .80 przy r = .205: 184
n dla mocy .90 przy r = .205: 246Bibliografia oprogramowania
Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 z pakietem pwr; rysunki przygotowano w pakietach ggplot2 i svglite. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).
- R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
- pwr (wersja 1.3.0): Champely, S. (2020). pwr: Basic functions for power analysis [R package]. https://doi.org/10.32614/CRAN.package.pwr
- ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
- svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An ‘SVG’ graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite
Lista kontrolna przed zebraniem danych
- Czy promotor zaakceptował replikację i jej rodzaj, a regulamin jej nie wyklucza?
- Czy wybrano jeden efekt główny z oryginału, wraz z przedziałem ufności?
- Czy poproszono autorów o materiały i zapisano datę?
- Czy masz prawo użyć narzędzi i wiesz, czy potrzebna jest zgoda komisji?
- Czy tabela odstępstw jest wypełniona, a powody są prawdziwe?
- Czy liczebność uzasadniono inaczej niż samym efektem z artykułu?
- Czy kryterium główne i pomocnicze zapisano z datą przed danymi?
- Czy zaplanowano zdanie do pracy na każdy z czterech wyników: powtórzenie, słabszy efekt, nierozstrzygnięcie, brak efektu?
Najczęstsze pytania
Czy replikacja może być pracą magisterską?
Może, jeśli akceptuje ją promotor i nie wyklucza jej regulamin. Wkładem jest nowa próba i ocena, czy wynik się powtarza. Często dobrze jest dodać jedno jasno oddzielone pytanie własne. Wymagania zależą od uczelni, więc ustal to przed zgłoszeniem tematu.
Jak uzasadnić replikację we wstępie pracy?
Pokaż, dlaczego wynik warto powtórzyć: co na nim polega, jak mała była próba i czy istnieją powtórzenia w Twojej populacji. Podaj efekt z oryginału z przedziałem ufności. Nie pisz, że badanie jest „pierwsze”, tylko że sprawdzasz, czy wynik się utrzymuje.
Czy w replikacji mogę użyć polskiej wersji kwestionariusza?
Tak, to zwykle konieczne, ale jest to odstępstwo, które trzeba opisać. Podaj źródło polskiej wersji, jej właściwości i rzetelność w swojej próbie. Jeśli polskiej wersji nie ma, adaptacja jest zwykle osobnym zadaniem.
Co napisać, gdy replikacja nie potwierdziła wyniku?
Podaj efekt z przedziałem, porównaj go z oryginałem, a potem wymień możliwe przyczyny: przypadek, zawyżenie w publikacji, różnice w populacji i procedurze. Nie oskarżaj autorów i nie twierdź, że efektu nie ma, jeśli przedział jest szeroki.
Czy replikacja cudzego badania to plagiat?
Samo powtórzenie jawnie cytowanej procedury na własnych danych zwykle nie jest kopiowaniem cudzej pracy, o ile tekst piszesz sam(a), a oryginał cytujesz. Osobną sprawą są licencje narzędzi i zasady uczelni, które warto sprawdzić. W razie wątpliwości zapytaj promotora; to nie jest porada prawna.
Powiązane hasła
Przeczytaj też
Jak zaplanować badanie replikacyjne
Rodzaj replikacji, materiały od autorów, liczebność przy zawyżonym efekcie, kryteria sukcesu i protokół registered report z kodem w R.
Czytaj →PoradnikLuka badawcza i uzasadnienie problemu
Sześć rodzajów luk, jak je znaleźć, replikacja zamiast nowatorstwa i akapit uzasadnienia źle i dobrze z czterech dziedzin.
Czytaj →PoradnikHipoteza się nie potwierdziła – co dalej
Jak sprawdzić, co mówi wynik nieistotny: przedział ufności, analiza wrażliwości, test równoważności TOST, czynnik Bayesa i gotowe zdania do wyników.
Czytaj →PoradnikKonspekt pracy dyplomowej
Jedenaście elementów, wzór do skopiowania i DOCX, cały wypełniony przykład pracy ilościowej, poprawki typowych fragmentów i lista kontrolna.
Czytaj →Planujesz replikację i chcesz sprawdzić, czy plan się broni?
Sprawdzimy plan analizy i liczebność, policzymy porównanie z oryginałem w R lub SPSS i wyjaśnimy wyniki tak, żebyś umiał(a) samodzielnie je opisać i obronić.
Oferta dla studentówWyceń analizęBibliografia i dalsza literatura naukowa (APA 7)
- Anderson, S. F., & Maxwell, S. E. (2016). There’s more than one way to conduct a replication study: Beyond statistical significance. Psychological Methods, 21(1), 1–12. https://doi.org/10.1037/met0000051
- Brandt, M. J., IJzerman, H., Dijksterhuis, A., Farach, F. J., Geller, J., Giner-Sorolla, R., Grange, J. A., Perugini, M., Spies, J. R., & van 't Veer, A. (2014). The Replication Recipe: What makes for a convincing replication? Journal of Experimental Social Psychology, 50, 217–224. https://doi.org/10.1016/j.jesp.2013.10.005 ● Otwarty dostęp
- Frank, M. C., & Saxe, R. (2012). Teaching replication. Perspectives on Psychological Science, 7(6), 600–604. https://doi.org/10.1177/1745691612460686 ● Otwarty dostęp
- Gelman, A., & Stern, H. (2006). The difference between “significant” and “not significant” is not itself statistically significant. The American Statistician, 60(4), 328–331. https://doi.org/10.1198/000313006x152649
- Hawkins, R. X. D., Smith, E. N., Au, C., Arias, J. M., Catapano, R., Hermann, E., Keil, M., Lampinen, A., Raposo, S., Reynolds, J., Salehi, S., Salloum, J., Tan, J., & Frank, M. C. (2018). Improving the replicability of psychological science through pedagogy. Advances in Methods and Practices in Psychological Science, 1(1), 7–18. https://doi.org/10.1177/2515245917740427 ● Otwarty dostęp
- Makel, M. C., Plucker, J. A., & Hegarty, B. (2012). Replications in psychology research: How often do they really occur? Perspectives on Psychological Science, 7(6), 537–542. https://doi.org/10.1177/1745691612460688 ● Otwarty dostęp
- Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), Article aac4716. https://doi.org/10.1126/science.aac4716 ● Otwarty dostęp: pełny tekst
- Simonsohn, U. (2015). Small telescopes: Detectability and the evaluation of replication results. Psychological Science, 26(5), 559–569. https://doi.org/10.1177/0956797614567341
- Zwaan, R. A., Etz, A., Lucas, R. E., & Donnellan, M. B. (2018). Making replication mainstream. Behavioral and Brain Sciences, 41, Article e120. https://doi.org/10.1017/s0140525x17001972 ● Otwarty dostęp: pełny tekst
Cytowania BibTeX
@article{anderson2016more, author={Anderson, Samantha F. and Maxwell, Scott E.}, title={{There’s more than one way to conduct a replication study: Beyond statistical significance}}, journal={Psychological Methods}, year={2016}, volume={21}, number={1}, pages={1--12}, doi={10.1037/met0000051}}@article{brandt2014replication, author={Brandt, Mark J. and IJzerman, Hans and Dijksterhuis, Ap and Farach, Frank J. and Geller, Jason and Giner-Sorolla, Roger and Grange, James A. and Perugini, Marco and Spies, Jeffrey R. and van 't Veer, Anna}, title={{The Replication Recipe: What makes for a convincing replication?}}, journal={Journal of Experimental Social Psychology}, year={2014}, volume={50}, pages={217--224}, doi={10.1016/j.jesp.2013.10.005}}@article{frank2012teaching, author={Frank, Michael C. and Saxe, Rebecca}, title={{Teaching replication}}, journal={Perspectives on Psychological Science}, year={2012}, volume={7}, number={6}, pages={600--604}, doi={10.1177/1745691612460686}}@article{gelman2006difference, author={Gelman, Andrew and Stern, Hal}, title={{The difference between “significant” and “not significant” is not itself statistically significant}}, journal={The American Statistician}, year={2006}, volume={60}, number={4}, pages={328--331}, doi={10.1198/000313006x152649}}@article{hawkins2018improving, author={Hawkins, Robert X. D. and Smith, Eric N. and Au, Carolyn and Arias, Juan Miguel and Catapano, Rhia and Hermann, Eric and Keil, Martin and Lampinen, Andrew and Raposo, Sarah and Reynolds, Jesse and Salehi, Shima and Salloum, Justin and Tan, Jed and Frank, Michael C.}, title={{Improving the replicability of psychological science through pedagogy}}, journal={Advances in Methods and Practices in Psychological Science}, year={2018}, volume={1}, number={1}, pages={7--18}, doi={10.1177/2515245917740427}}@article{makel2012replications, author={Makel, Matthew C. and Plucker, Jonathan A. and Hegarty, Boyd}, title={{Replications in psychology research: How often do they really occur?}}, journal={Perspectives on Psychological Science}, year={2012}, volume={7}, number={6}, pages={537--542}, doi={10.1177/1745691612460688}}@article{osc2015estimating, author={Open Science Collaboration}, title={{Estimating the reproducibility of psychological science}}, journal={Science}, year={2015}, volume={349}, number={6251}, eid={aac4716}, doi={10.1126/science.aac4716}}@article{simonsohn2015small, author={Simonsohn, Uri}, title={{Small telescopes: Detectability and the evaluation of replication results}}, journal={Psychological Science}, year={2015}, volume={26}, number={5}, pages={559--569}, doi={10.1177/0956797614567341}}@article{zwaan2018making, author={Zwaan, Rolf A. and Etz, Alexander and Lucas, Richard E. and Donnellan, M. Brent}, title={{Making replication mainstream}}, journal={Behavioral and Brain Sciences}, year={2018}, volume={41}, eid={e120}, doi={10.1017/s0140525x17001972}}