Słownik metodologiczny · Open science i wnioskowanie

Klątwa zwycięzcy (winner’s curse) – dlaczego najsilniejszy wynik słabnie w replikacji?

Klątwa zwycięzcy to zawyżenie efektu, który wygrał selekcję: przekroczył próg istotności albo był najsilniejszy spośród wielu. Symulacja w R pokazuje, jak korelacja .10 rośnie do .28 i wraca do .10 w replikacji.

Strona główna / Słownik / Klątwa zwycięzcy (winner’s curse)
W skrócie: Klątwa zwycięzcy to systematyczne zawyżenie efektu wybranego dlatego, że przekroczył próg istotności albo był najsilniejszy spośród wielu badanych. W symulacji 20 predyktorów o prawdziwej korelacji r = .10 „zwycięzca” miał średnio r = .28, a w replikacji – znów .10.

Co to jest klątwa zwycięzcy?

Klątwa zwycięzcy (ang. winner’s curse) to zawyżenie efektu, który „wygrał” selekcję – przekroczył próg istotności albo okazał się najsilniejszy spośród wielu badanych. Wybór następuje na podstawie oszacowania, które zawiera prawdziwy efekt i błąd losowy. Zwycięża więc zwykle ten wynik, któremu los dodał najwięcej, a w kolejnym badaniu ta przewaga znika. Ioannidis (2008) pokazuje, że gdy odkrycie ogłasza się po przekroczeniu progu istotności w badaniu o niskiej mocy, zaobserwowany efekt powinien być zawyżony – od wcześnie przerwanych badań klinicznych po badania asocjacyjne całego genomu.

Przykład w R

Badacz sprawdza 20 predyktorów satysfakcji z pracy na 100 osobach. Każdy ma w populacji tę samą korelację r = .10. W 5000 symulowanych badaniach średnia korelacja wszystkich predyktorów wyniosła .100, ale „zwycięzca” – najsilniejszy predyktor – miał średnio r = .284, a w 97.7% badań był istotny. W niezależnej replikacji z tą samą liczebnością ten sam predyktor dawał średnio r = .100. Nie wybrano go dlatego, że był ważniejszy, tylko dlatego, że miał szczęście.

Na rysunku

Rysunek pokazuje przykład z 20 predyktorami jako dwa histogramy: korelację „zwycięzcy” w każdym z 5000 badań odkrywczych i korelację tego samego predyktora w niezależnej replikacji.

Dwa histogramy korelacji z 5000 symulowanych badań. Górny, badanie odkrywcze: wąski rozkład korelacji najsilniejszego predyktora od około .17 do .46, prawie w całości niebieski (p < .05), pomarańczowa przerywana linia średniej przy .284, daleko na prawo od czarnej linii prawdziwej korelacji .10. Dolny, replikacja tego samego predyktora: szeroki rozkład od około −.2 do .4, głównie szary (p ≥ .05), tylko prawy ogon powyżej .20 niebieski; średnia .100 pokrywa się z prawdą.
Rysunek 1. Korelacja najsilniejszego z 20 predyktorów w badaniu odkrywczym i w replikacji (prawdziwe r = .10 dla każdego predyktora, n = 100, 5000 powtórzeń). Obliczenia i rysunek: R, pakiet ggplot2 (symulacja, set.seed(527)).

Co widać. Górny histogram w ogóle nie obejmuje prawdy: zwycięzca miał średnio r = .284 i w 97.7% badań był istotny (błąd Monte Carlo 0.2 pp). Dolny histogram to ten sam predyktor zmierzony od nowa – średnia spada do .100, a istotny jest już tylko w 16.7% replikacji (błąd MC 0.5 pp), czyli tak często, jak pozwala moc testu dla r = .10 przy 100 osobach. Selekcja nie zmieniła predyktora, tylko wybrała badanie, w którym błąd losowy dodał najwięcej.

Na co uważać. W symulacji wszystkie predyktory są jednakowo ważne, więc całe zawyżenie wynika z wyboru. W prawdziwych danych zwycięzca bywa naprawdę silniejszy od reszty, ale z jednego badania nie da się odróżnić, ile z jego przewagi to efekt, a ile szczęście. Wykres nie pokazuje też, jak klątwa rośnie z liczbą kandydatów i maleje z liczebnością próby. Wersję z jednym efektem (d = 0.3) i progiem istotności zamiast wyboru najlepszego pokazuje wpis Moc testu w obrazkach.

Podpis do pracy (np. w aneksie uzasadniającym replikację):

Rysunek 1. Rozkład korelacji najsilniejszego z 20 predyktorów w badaniu odkrywczym i tego samego predyktora w niezależnej replikacji (symulacja: 5000 powtórzeń, n = 100, prawdziwa korelacja każdego predyktora r = .10). Uwaga. Linia ciągła – prawdziwa korelacja; linia przerywana – średnia z symulacji; kolor ciemny – wyniki istotne (p < .05).

Kod powtarza symulację z przykładu (to samo ziarno 527, ustalone raz i niezmieniane, ta sama kolejność losowań), więc średnie są identyczne. Liczba predyktorów, liczebność i korelacja .10 to ręcznie przyjęte założenia przykładu. Kod liczy się w około sekundę. Rysunek na stronie różni się od wyniku kodu tylko motywem (krój i kolor czcionki, siatka).

R – kod rysunku
# Rysunek 1. Korelacja „zwycięzcy” w badaniu odkrywczym i tego samego predyktora w replikacji
# Symulacja jak w przykładzie z hasła: 20 predyktorów o prawdziwym r = .10, n = 100, 5000 powtórzeń
library(ggplot2)
set.seed(527)
k <- 20; n <- 100; b <- 0.10; R <- 5000
badanie <- function(n) {
  x <- matrix(rnorm(n * k), n, k)
  y <- x %*% rep(b, k) + rnorm(n, sd = sqrt(0.8))
  cor(x, y)[, 1]
}
w <- t(replicate(R, {
  r1 <- badanie(n); j <- which.max(r1); r2 <- badanie(n)
  c(odkrycie = r1[j], replikacja = r2[j])
}))
prog <- 0.197                                      # r istotne przy p < .05 (n = 100)
round(colMeans(w), 3)                              # średnie: zwycięzca vs replikacja
round(apply(w, 2, sd) / sqrt(R), 4)                # błąd Monte Carlo średnich
ist <- colMeans(w > prog)
round(rbind(odsetek_istotnych = ist, blad_MC = sqrt(ist * (1 - ist) / R)), 3)

d <- data.frame(r = c(w), etap = factor(rep(c("Badanie odkrywcze: najsilniejszy z 20", "Replikacja: ten sam predyktor"),
                                            each = R), levels = c("Badanie odkrywcze: najsilniejszy z 20", "Replikacja: ten sam predyktor")))
d$istotny <- factor(ifelse(d$r > prog, "p < .05", "p ≥ .05"), levels = c("p ≥ .05", "p < .05"))
sr <- data.frame(etap = levels(d$etap), m = colMeans(w))
motyw <- theme_minimal(base_size = 14) + theme(legend.position = "bottom", panel.grid.minor = element_blank())
p1 <- ggplot(d, aes(r, fill = istotny)) +
  geom_histogram(binwidth = 0.02, boundary = 0, colour = "white", linewidth = 0.2) +
  geom_vline(xintercept = b, linewidth = 1, colour = "black") +
  geom_vline(data = sr, aes(xintercept = m), linewidth = 1, linetype = "dashed", colour = "#D55E00") +
  geom_text(data = sr, aes(x = m, y = Inf, label = sub("0\\.", ".", sprintf("średnia %.3f", m))), vjust = 1.6, hjust = -0.08,
            size = 4, colour = "#D55E00", inherit.aes = FALSE) +
  annotate("text", x = b, y = Inf, label = "prawda .10", vjust = 1.6, hjust = 1.1, size = 4) +
  facet_wrap(~ etap, ncol = 1) +
  scale_fill_manual(values = c("p ≥ .05" = "grey70", "p < .05" = "#0072B2"), name = NULL) +
  scale_x_continuous(breaks = seq(-0.2, 0.6, 0.1), labels = function(x) sub("^(-?)0\\.", "\\1.", sprintf("%.1f", x))) +
  labs(x = "Oszacowana korelacja r", y = "Liczba badań (z 5000)") +
  motyw
p1   # zapis: ggsave("klatwa-zwyciezcy-odkrycie-replikacja.svg", p1, width = 9, height = 6.4)
Wynik w R
  odkrycie replikacja 
     0.284      0.100 
  odkrycie replikacja 
    0.0007     0.0014 
                  odkrycie replikacja
odsetek_istotnych    0.977      0.167
blad_MC              0.002      0.005

Związek z pokrewnymi pojęciami

  • Błąd typu M (Gelman i Carlin, 2014) mierzy skalę tego samego zjawiska dla progu istotności: ile razy wynik istotny jest średnio większy od prawdy.
  • Moc testu. Button i in. (2013) wskazują, że niska moc prowadzi do zawyżonych oszacowań efektu i niskiej replikowalności.
  • Regresja do średniej to ten sam mechanizm na poziomie osób: skrajny wynik w pierwszym pomiarze zwykle słabnie w drugim.
  • Błąd publikacji wzmacnia klątwę, bo do druku trafiają głównie zwycięzcy.

Jak się bronić

  • Traktuj efekt z pierwszego badania jako górną granicę; nie planuj na nim liczebności replikacji.
  • Sprawdzaj wybrany predyktor w niezależnej próbie albo zastosuj walidację krzyżową.
  • Raportuj wszystkie badane zmienne, nie tylko zwycięzców – ułatwia to prerejestracja.

Jak opisać w pracy

Najsilniejszy predyktor wybrano spośród 20 analizowanych zmiennych, dlatego jego oszacowanie (r = .28) jest prawdopodobnie zawyżone przez klątwę zwycięzcy i wymaga sprawdzenia w niezależnej próbie.
Przykład reprodukowalny

Klątwa zwycięzcy w R

Kod symuluje 5000 badań odkrywczych z 20 predyktorami o tej samej prawdziwej korelacji r = .10, wybiera w każdym najsilniejszy predyktor i sprawdza go w niezależnej replikacji o tej samej liczebności.

Wybór najsilniejszego predyktora i replikacja

Dane wejściowe: 20 predyktorów, każdy skorelowany z wynikiem na poziomie r = .10; n = 100 w badaniu odkrywczym i w replikacji; 5000 powtórzeń; set.seed(527).

Co odczytać: średnią korelację wszystkich predyktorów (0.100), średnią korelację „zwycięzcy” w badaniu odkrywczym (0.284), jego korelację w replikacji (0.100) i odsetek badań, w których zwycięzca był istotny (0.977).

R
# Klątwa zwycięzcy: 20 predyktorów, każdy o prawdziwej korelacji r = .10 z wynikiem
set.seed(527)
k <- 20; n <- 100; b <- 0.10            # var(y) = 20 * 0.01 + 0.8 = 1, więc r = .10
badanie <- function(n) {
  x <- matrix(rnorm(n * k), n, k)
  y <- x %*% rep(b, k) + rnorm(n, sd = sqrt(0.8))
  cor(x, y)[, 1]
}
wyniki <- t(replicate(5000, {
  r1 <- badanie(n)                      # badanie odkrywcze
  j <- which.max(r1)                    # „zwycięzca”: najsilniejszy predyktor
  r2 <- badanie(n)                      # niezależna replikacja, ta sama n
  c(wszystkie = mean(r1), zwyciezca = r1[j], replikacja = r2[j],
    istotny = r1[j] > 0.197)  # .197 = próg p < .05 dla n = 100
}))
round(colMeans(wyniki), 3)
Wynik w R
 wszystkie  zwyciezca replikacja    istotny 
     0.100      0.284      0.100      0.977 

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (bez dodatkowych pakietów); Rysunek 1 narysowano w pakiecie ggplot2. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org

Najczęstsze pytania

Czy klątwa zwycięzcy oznacza, że efekt nie istnieje?

Nie. W przykładzie każdy predyktor miał prawdziwą korelację r = .10. Klątwa dotyczy wielkości: wybrany efekt istnieje, ale jest mniejszy, niż pokazało badanie, w którym go wybrano.

Dlaczego replikacja daje mniejszy efekt niż oryginał?

Bo w replikacji nikt nie wybiera wyniku na podstawie jego wartości. Błąd losowy, który pomógł zwycięzcy w pierwszym badaniu, w drugim jest niezależny, więc oszacowanie wraca średnio do prawdziwego efektu.

Czy duża próba usuwa klątwę zwycięzcy?

Zmniejsza ją, bo mniejszy błąd losowy oznacza mniejszą przewagę wynikającą ze szczęścia. Przy wielu kandydatach i selekcji najsilniejszego wyniku pewne zawyżenie zostaje, dlatego potrzebna jest niezależna replikacja.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365–376. https://doi.org/10.1038/nrn3475 ● Otwarty dostęp
  2. Gelman, A., & Carlin, J. (2014). Beyond power calculations: Assessing type S (sign) and type M (magnitude) errors. Perspectives on Psychological Science, 9(6), 641–651. https://doi.org/10.1177/1745691614551642
  3. Ioannidis, J. P. A. (2008). Why most discovered true associations are inflated. Epidemiology, 19(5), 640–648. https://doi.org/10.1097/ede.0b013e31818131e7

Cytowania BibTeX

@article{button2013power, author={Button, Katherine S. and Ioannidis, John P. A. and Mokrysz, Claire and Nosek, Brian A. and Flint, Jonathan and Robinson, Emma S. J. and Munafò, Marcus R.}, title={{Power failure: Why small sample size undermines the reliability of neuroscience}}, journal={Nature Reviews Neuroscience}, year={2013}, volume={14}, number={5}, pages={365--376}, doi={10.1038/nrn3475}}
@article{gelman2014beyond, author={Gelman, Andrew and Carlin, John}, title={{Beyond power calculations: Assessing type S (sign) and type M (magnitude) errors}}, journal={Perspectives on Psychological Science}, year={2014}, volume={9}, number={6}, pages={641--651}, doi={10.1177/1745691614551642}}
@article{ioannidis2008why, author={Ioannidis, John P. A.}, title={{Why most discovered true associations are inflated}}, journal={Epidemiology}, year={2008}, volume={19}, number={5}, pages={640--648}, doi={10.1097/ede.0b013e31818131e7}}
R