Słownik metodologiczny · Open science i wnioskowanie

Efekt szuflady – co to jest, skąd się bierze i dlaczego testy go nie wykrywają

Efekt szuflady to nieupublicznianie badań z wynikami nieistotnymi, przez co literatura zawyża efekty. Pokazujemy, skąd się bierze, i w symulacji 80 badań sprawdzamy, czy wykres lejkowy, test Eggera, trim and fill i fail-safe N wykryją problem, gdy w szufladzie zostało 60 badań.

Strona główna / Słownik / Efekt szuflady
W skrócie: Efekt szuflady to zjawisko, w którym badania z wynikami nieistotnymi lub niezgodnymi z hipotezą rzadziej są publikowane, więc literatura i metaanalizy zawyżają efekty. Wynika głównie z decyzji autorów, by nie spisywać wyników zerowych. Testy asymetrii i fail-safe N często go nie wykrywają; skuteczniejsze są prerejestracja, registered reports i publikowanie wszystkich wyników.

Co to jest efekt szuflady?

Efekt szuflady (problem szuflady, ang. file drawer problem) to zjawisko polegające na tym, że badania z wynikami nieistotnymi albo niezgodnymi z hipotezą rzadziej trafiają do publikacji i zostają „w szufladzie” autorów. Opublikowana literatura nie jest wtedy reprezentatywną próbą przeprowadzonych badań, tylko próbą wybraną według wyniku. Efekt szuflady to najbardziej znana postać błędu publikacyjnego (ang. publication bias).

Nazwę spopularyzował Rosenthal (1979). W skrajnej wersji problemu czasopisma wypełnia 5% badań, które dały błąd I rodzaju, a w szufladach leży 95% badań z wynikami nieistotnymi. Rosenthal zaproponował też sposób oszacowania, ile nieopublikowanych wyników zerowych musiałoby istnieć, by podważyć wniosek z literatury. To tzw. fail-safe N, którego ograniczenia pokazujemy niżej.

Skąd się bierze i jak duży jest problem

Często zakłada się, że winne są czasopisma odrzucające wyniki zerowe. Franco i in. (2014) przeanalizowali znaną populację 221 eksperymentów sondażowych z jednego programu badawczego, dla których wiadomo było, co opublikowano. Badania z silnymi wynikami miały o 40 punktów procentowych większą szansę na publikację niż badania z wynikami zerowymi. Opisania ich szansa była większa aż o 60 punktów procentowych. Główną przyczyną było to, że autorzy nie spisywali i nie wysyłali wyników zerowych, a nie to, że recenzenci je odrzucali.

Skalę zjawiska w psychologii pokazuje porównanie Scheel i in. (2021). W losowej próbie 152 standardowych artykułów pierwsza testowana hipoteza była potwierdzona w 96% przypadków. W 71 artykułach w formacie registered report, w którym decyzja o publikacji zapada przed poznaniem wyników, odsetek ten wynosił 44%. Autorzy wiążą tę różnicę z mniejszym błędem publikacyjnym lub mniejszą inflacją błędu I rodzaju w registered reports.

Skutki efektu szuflady:

  • Zawyżone wielkości efektu w literaturze i w metaanalizach – istotność w małych badaniach osiąga się głównie przy przeszacowanym efekcie.
  • Fałszywe „ugruntowane” efekty – zjawisko bez realnej podstawy może wyglądać na wielokrotnie potwierdzone.
  • Zła analiza mocy kolejnych badań – planowanie liczebności na podstawie zawyżonego efektu daje badania o zbyt małej mocy.
  • Marnowanie zasobów – inni badacze powtarzają nieudane próby, bo nie wiedzą o nich.
  • Zniekształcone wytyczne praktyczne – terapie, programy szkoleniowe czy interwencje edukacyjne wyglądają na skuteczniejsze, niż są, a decyzje o ich wdrażaniu opierają się na zawyżonych liczbach.

Przykład: 80 badań, 20 opublikowanych

Wyobraź sobie 80 badań tej samej interwencji, np. krótkiego treningu uważności zmniejszającego lęk (dane symulowane). Prawdziwy efekt jest mały, d = 0.15, a liczebności wynoszą od 20 do 80 osób na grupę. Wynik istotny i zgodny z hipotezą publikuje się zawsze, a pozostałe – z prawdopodobieństwem 15%. Opublikowano 20 badań: wszystkie 11 istotnych i 9 z 69 nieistotnych. Pozostałe 60 zostało w szufladzie.

  • Metaanaliza wszystkich 80 badań (efekty losowe) daje d = 0.162, 95% CI [0.117, 0.207] – blisko prawdy.
  • Metaanaliza 20 opublikowanych daje d = 0.276, 95% CI [0.180, 0.372]. Efekt jest o ok. 70% większy niż w metaanalizie wszystkich badań, a przedział nie obejmuje prawdziwej wartości.
Wykres lejkowy 80 symulowanych badań: 20 opublikowanych (czerwone punkty, głównie po prawej stronie poza szarym lejkiem wyników nieistotnych) i 60 w szufladzie (białe punkty). Linie pionowe: prawdziwy efekt 0.15, metaanaliza wszystkich badań 0.162, metaanaliza opublikowanych 0.276
Rysunek 1. Wykres lejkowy: każdy punkt to jedno badanie (oś pozioma – d, oś pionowa – błąd standardowy, odwrócona). Badania poza szarym lejkiem po prawej stronie są istotne i trafiły do druku. Czerwona linia (opublikowane) leży wyraźnie na prawo od prawdziwego efektu. Obliczenia: R (dane symulowane).

Czy standardowe narzędzia wykryłyby problem, gdyby widoczne było tylko 20 opublikowanych badań? W tym przykładzie – nie:

  • Test asymetrii wykresu lejkowego (test Eggera): z = −0.54, p = .592. Egger i in. (1997) ostrzegali, że gdy metaanaliza obejmuje niewiele małych badań, test ma ograniczoną moc. Tutaj liczebności badań różniły się niewiele (20–80 osób na grupę), więc zależność efektu od błędu standardowego była słaba.
  • Metoda trim and fill oszacowała 0 brakujących badań.
  • Fail-safe N Rosenthala wyniósł 281. Formalnie trzeba by 281 ukrytych badań z efektem zerowym, by wynik łączny stał się nieistotny. To brzmi uspokajająco, a w szufladzie leżało „tylko” 60 badań. Fail-safe N odpowiada jednak na inne pytanie: czy efekt jest różny od zera, a nie, czy jego wielkość jest prawdziwa. Tu efekt istnieje, ale opublikowana literatura zawyża go o ok. 70%.

Istnieją też bardziej zaawansowane metody, np. modele selekcji, które wprost modelują prawdopodobieństwo publikacji w zależności od wartości p, czy regresje efektu na błąd standardowy (PET-PEESE). Wszystkie opierają się jednak na założeniach o mechanizmie selekcji, których nie da się sprawdzić na samych opublikowanych danych. Dlatego w metaanalizie podaje się zwykle kilka z nich jako analizę wrażliwości, zamiast wybierać jedną „właściwą” korektę. Jeśli różne metody dają wyraźnie różne oszacowania, sam ten fakt jest ważną informacją dla czytelnika: wynik łączny jest niepewny bardziej, niż sugeruje przedział ufności.

Brak sygnału w testach nie dowodzi braku efektu szuflady. Dlatego najlepszą ochroną jest nie korekta po fakcie, tylko dotarcie do niepublikowanych wyników i zmiana sposobu publikowania.

Jak przeciwdziałać efektowi szuflady

Sposoby przeciwdziałania efektowi szuflady
KtoCo może zrobić
Autor badaniaZarejestrować plan przed zbieraniem danych (prerejestracja), opublikować wynik niezależnie od istotności, udostępnić dane w repozytorium (pakiet replikacyjny)
CzasopismoPrzyjmować registered reports, publikować replikacje i wyniki zerowe
Autor metaanalizyPrzeszukiwać rejestry badań, prace dyplomowe, materiały konferencyjne i pytać autorów o niepublikowane dane; raportować wykres lejkowy i testy asymetrii jako analizę wrażliwości, a nie dowód braku problemu
Student piszący pracęRzetelnie opisać wynik nieistotny – zob. hipoteza się nie potwierdziła – i nie „poprawiać” analiz, by uzyskać p < .05 (p-hacking)

Efekt szuflady to jeden z mechanizmów stojących za kryzysem replikacyjnym w psychologii. Jest też jednym z powodów, dla których rozwija się ruch open science.

Jak opisać ocenę błędu publikacyjnego w metaanalizie

Błąd publikacyjny oceniono wizualnie na wykresie lejkowym oraz testem regresyjnym Eggera. Test nie wykazał istotnej asymetrii, z = −0.54, p = .592, a metoda trim and fill nie wskazała brakujących badań. Ze względu na niewielką liczbę badań (k = 20) i ich zbliżone liczebności moc tych procedur jest jednak ograniczona, dlatego brak asymetrii nie wyklucza błędu publikacyjnego, a łączny efekt, d = 0.28, 95% CI [0.18, 0.37], może być zawyżony.

Pełną procedurę metaanalizy, od wyszukiwania badań po wykres lasu i analizę wrażliwości, opisuje poradnik metaanaliza: jak rzetelnie połączyć wyniki wielu badań.

Przykład reprodukowalny

Symulacja efektu szuflady w R

Kod generuje 80 badań, „publikuje” je według istotności, porównuje metaanalizę wszystkich i opublikowanych badań oraz wykonuje test Eggera, trim and fill i fail-safe N w pakiecie metafor.

Publikacja selektywna i diagnostyka błędu publikacyjnego

Dane wejściowe: 80 symulowanych badań dwugrupowych (set.seed(208)), prawdziwy efekt d = 0.15, 20–80 osób na grupę.

Co odczytać: tabelę opublikowanych i istotnych badań, łączne d z przedziałami dla wszystkich i opublikowanych badań, wynik testu asymetrii (z, p), liczbę brakujących badań w trim and fill i wartość Fail-safe N.

R
suppressPackageStartupMessages(library(metafor))
# Dane symulowane: 80 przeprowadzonych badań tej samej interwencji (np. treningu uważności a lęk).
# Prawdziwy efekt d = 0.15; liczebności 20–80 osób na grupę.
# Publikacja: wynik istotny i zgodny z hipotezą – zawsze; pozostałe – z prawdopodobieństwem 0.15.
set.seed(208)
k <- 80
n_gr <- sample(20:80, k, replace = TRUE)
badania <- t(sapply(n_gr, function(n) {
  e <- rnorm(n, 0.15); c <- rnorm(n, 0)
  c(n = n, t = unname(t.test(e, c, var.equal = TRUE)$statistic))
}))
badania <- as.data.frame(badania)
badania$df <- 2 * badania$n - 2
badania$p <- 2 * pt(-abs(badania$t), badania$df)
badania$d <- badania$t * sqrt(2 / badania$n)                     # d Cohena z t
badania$vi <- 2 / badania$n + badania$d^2 / (4 * badania$n)    # wariancja d
badania$opublikowane <- (badania$p < .05 & badania$d > 0) | runif(k) < .15
table(opublikowane = badania$opublikowane, istotne = badania$p < .05 & badania$d > 0)

# Metaanaliza wszystkich przeprowadzonych badań i samych opublikowanych (efekty losowe, REML)
m_wszystkie <- rma(yi = d, vi = vi, data = badania)
m_publ <- rma(yi = d, vi = vi, data = subset(badania, opublikowane))
round(rbind(wszystkie = c(k = m_wszystkie$k, d = m_wszystkie$b[1], dolna = m_wszystkie$ci.lb, gorna = m_wszystkie$ci.ub),
            opublikowane = c(k = m_publ$k, d = m_publ$b[1], dolna = m_publ$ci.lb, gorna = m_publ$ci.ub)), 3)

# Diagnostyka na samych opublikowanych: test Eggera, trim and fill, fail-safe N Rosenthala
eg <- regtest(m_publ)
fp <- function(p) ifelse(p < .001, "< .001", paste("=", sub("^0", "", sprintf("%.3f", p))))
cat(sprintf("Test Eggera (asymetria wykresu lejkowego): z = %.2f, p %s\n", eg$zval, fp(eg$pval)))
trimfill(m_publ)
publ <- subset(badania, opublikowane)
fsn(publ$d, publ$vi)
Wynik w R
            istotne
opublikowane FALSE TRUE
       FALSE    60    0
       TRUE      9   11
              k     d dolna gorna
wszystkie    80 0.162 0.117 0.207
opublikowane 20 0.276 0.180 0.372
Test Eggera (asymetria wykresu lejkowego): z = -0.54, p = .592

Estimated number of missing studies on the right side: 0 (SE = 2.6122)

Random-Effects Model (k = 20; tau^2 estimator: REML)

tau^2 (estimated amount of total heterogeneity): 0.0113 (SE = 0.0154)
tau (square root of estimated tau^2 value):      0.1062
I^2 (total heterogeneity / total variability):   23.62%
H^2 (total variability / sampling variability):  1.31

Test for Heterogeneity:
Q(df = 19) = 27.0112, p-val = 0.1044

Model Results:

estimate      se    zval    pval   ci.lb   ci.ub      
  0.2759  0.0491  5.6244  <.0001  0.1798  0.3721  *** 

---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1


Fail-safe N Calculation Using the Rosenthal Approach

Observed Significance Level: <.0001
Target Significance Level:   0.05

Fail-safe N: 281

Bibliografia oprogramowania

Wyniki pochodzą z R 4.5.3 z pakietem metafor; rysunek przygotowano w pakiecie ggplot2.

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. metafor (wersja 5.0.1): Viechtbauer, W. (2010). Conducting meta-analyses in R with the metafor package. Journal of Statistical Software, 36(3), 1–48. https://doi.org/10.18637/jss.v036.i03
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org

Najczęstsze błędy

  • „Test Eggera był nieistotny, więc błędu publikacyjnego nie ma.” Przy kilkunastu–kilkudziesięciu badaniach test często nie ma mocy; w przykładzie nie wykrył zawyżenia efektu o ok. 70%.
  • Fail-safe N jako dowód odporności wyniku. Mówi tylko, ile wyników zerowych obaliłoby istotność, a nie, czy efekt ma właściwą wielkość; zakłada też, że ukryte badania mają efekt dokładnie zerowy.
  • Utożsamianie asymetrii wykresu lejkowego z efektem szuflady. Asymetrię mogą też powodować różnice jakości badań lub prawdziwa heterogeniczność efektów.
  • Pomijanie niepublikowanych prac w przeglądzie systematycznym (zob. przegląd systematyczny i PRISMA).
  • Planowanie liczebności próby na podstawie efektu z opublikowanej literatury bez korekty – efekt prawie na pewno jest zawyżony.
  • Nieopisywanie wyników nieistotnych we własnej pracy. Pominięcie ich w rozdziale wyników to efekt szuflady w miniaturze.

Najczęstsze pytania

Co to jest efekt szuflady w nauce?

To sytuacja, w której wyniki nieistotne lub niezgodne z oczekiwaniami nie są publikowane i zostają w szufladzie, a do literatury trafiają głównie wyniki istotne. W efekcie opublikowane badania przeszacowują wielkość efektów, a czasem tworzą wrażenie efektu, którego nie ma.

Czym różni się efekt szuflady od błędu publikacyjnego?

Błąd publikacyjny to szersze pojęcie: każda zależność między wynikiem badania a szansą jego publikacji. Efekt szuflady to jego najczęstsza postać – autorzy nie publikują wyników zerowych. Franco i in. (2014) pokazali, że to głównie autorzy, a nie czasopisma, nie spisywali takich wyników.

Co oznacza fail-safe N Rosenthala?

To liczba nieopublikowanych badań z efektem zerowym, która sprawiłaby, że łączny wynik metaanalizy przestałby być istotny. Duża wartość nie oznacza, że wielkość efektu jest prawdziwa – w symulacji na tej stronie fail-safe N wyniósł 281, a opublikowane badania zawyżały efekt o ok. 70%.

Jak sprawdzić efekt szuflady w metaanalizie?

Przejrzyj wykres lejkowy, wykonaj test asymetrii (np. Eggera) i analizę wrażliwości (np. trim and fill), ale traktuj je jako sygnał, a nie dowód. Przy kilkunastu badaniach testy mają małą moc. Najważniejsze jest szukanie niepublikowanych badań w rejestrach, pracach dyplomowych i u autorów.

Czy w pracy magisterskiej trzeba opisywać nieistotne wyniki?

Tak. Pominięcie wyników nieistotnych to efekt szuflady w miniaturze i zniekształca obraz badania. Opisz je z wielkością efektu i przedziałem ufności oraz omów możliwe przyczyny w dyskusji.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Egger, M., Davey Smith, G., Schneider, M., & Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test. BMJ, 315(7109), 629–634. https://doi.org/10.1136/bmj.315.7109.629 ● Otwarty dostęp: pełny tekst
  2. Franco, A., Malhotra, N., & Simonovits, G. (2014). Publication bias in the social sciences: Unlocking the file drawer. Science, 345(6203), 1502–1505. https://doi.org/10.1126/science.1255484
  3. Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638–641. https://doi.org/10.1037/0033-2909.86.3.638
  4. Scheel, A. M., Schijen, M. R. M. J., & Lakens, D. (2021). An excess of positive results: Comparing the standard psychology literature with registered reports. Advances in Methods and Practices in Psychological Science, 4(2), Article 25152459211007467. https://doi.org/10.1177/25152459211007467 ● Otwarty dostęp

Cytowania BibTeX

@article{egger1997bias, author={Egger, Matthias and Davey Smith, George and Schneider, Martin and Minder, Christoph}, title={{Bias in meta-analysis detected by a simple, graphical test}}, journal={BMJ}, year={1997}, volume={315}, number={7109}, pages={629--634}, doi={10.1136/bmj.315.7109.629}}
@article{franco2014publication, author={Franco, Annie and Malhotra, Neil and Simonovits, Gabor}, title={{Publication bias in the social sciences: Unlocking the file drawer}}, journal={Science}, year={2014}, volume={345}, number={6203}, pages={1502--1505}, doi={10.1126/science.1255484}}
@article{rosenthal1979file, author={Rosenthal, Robert}, title={{The file drawer problem and tolerance for null results}}, journal={Psychological Bulletin}, year={1979}, volume={86}, number={3}, pages={638--641}, doi={10.1037/0033-2909.86.3.638}}
@article{scheel2021excess, author={Scheel, Anne M. and Schijen, Mitchell R. M. J. and Lakens, Daniël}, title={{An excess of positive results: Comparing the standard psychology literature with registered reports}}, journal={Advances in Methods and Practices in Psychological Science}, year={2021}, volume={4}, number={2}, eid={25152459211007467}, doi={10.1177/25152459211007467}}
R