Co to jest błąd publikacji?
Błąd publikacji (ang. publication bias) to systematyczna różnica między badaniami opublikowanymi a wszystkimi przeprowadzonymi. Powstaje, gdy o tym, czy i jak wynik trafi do druku, decyduje sam wynik: jego istotność, kierunek albo siła. Literatura zawyża wtedy efekty, a metaanaliza oparta na tej literaturze dziedziczy zniekształcenie.
Skąd się bierze?
- Całe badania nie są publikowane. To efekt szuflady, najbardziej znana postać błędu. Franco i in. (2014) pokazali, że badania z silnymi wynikami miały o 40 punktów procentowych większą szansę publikacji niż te z wynikami zerowymi. Główną przyczyną było to, że autorzy nie spisywali wyników zerowych.
- Artykuł opisuje tylko część wyników. W 102 badaniach randomizowanych wyniki istotne miały większą szansę pełnego opisania niż nieistotne (OR = 2.4 dla skuteczności). W 62% badań co najmniej jeden pierwszorzędowy wynik zmieniono, dodano lub pominięto w porównaniu z protokołem (Chan i in., 2004).
- Analiza jest dobierana pod wynik. Blisko z tym związany jest p-hacking.
Przykład
W symulacji prawdziwy efekt to d = 0.20. Wykonano po 5000 badań z 20, 50 i 200 osobami w grupie. „Publikowano” wszystkie wyniki istotne i dodatnie oraz 10% pozostałych. Średnie d ze wszystkich badań wynosiło 0.20–0.21. W opublikowanych było to 0.49 przy 20 osobach w grupie, 0.39 przy 50 i 0.26 przy 200. Im mniejsze badania, tym silniej zawyżony obraz literatury.
Jak opisać w pracy
Na co uważać
- Metody wykrywania są pośrednie. Wykres lejkowy i test Eggera wykrywają efekt małych badań, a jego przyczyną nie musi być błąd publikacji (Sterne i in., 2011).
- Brak asymetrii nie oczyszcza literatury. Zwłaszcza gdy badań jest mało.
- Lepiej zapobiegać, niż korygować. Pomagają prerejestracja i registered report, w którym decyzja o publikacji zapada przed poznaniem wyników.
Jak ocenić błąd publikacji we własnej metaanalizie, pokazuje wpis Metaanaliza krok po kroku.
Błąd publikacji w R
Kod symuluje tysiące badań z tym samym małym efektem, „publikuje” je według istotności i porównuje średni efekt we wszystkich i w opublikowanych badaniach.
Zawyżenie efektu w opublikowanych badaniach
R
set.seed(2027)
symuluj <- function(n, liczba = 5000, d_true = 0.20) {
t <- rt(liczba, df = 2 * n - 2, ncp = d_true * sqrt(n / 2)) # test t dla dwóch grup po n osób
d <- t * sqrt(2 / n) # obserwowane d Cohena
p <- 2 * pt(-abs(t), df = 2 * n - 2)
publ <- (p < .05 & d > 0) | runif(liczba) < 0.10 # istotne dodatnie albo 10% pozostałych
c(n_w_grupie = n, moc = mean(p < .05 & d > 0), opublikowane = mean(publ),
d_wszystkie = mean(d), d_opublikowane = mean(d[publ]))
}
round(rbind(symuluj(20), symuluj(50), symuluj(200)), 2)Wynik w R
n_w_grupie moc opublikowane d_wszystkie d_opublikowane
[1,] 20 0.09 0.18 0.21 0.49
[2,] 50 0.17 0.25 0.20 0.39
[3,] 200 0.51 0.56 0.20 0.26Bibliografia oprogramowania
Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje pakietu base i stats).
- R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
Najczęstsze pytania
Czym różni się błąd publikacji od efektu szuflady?
Efekt szuflady to jedna postać błędu publikacji: całe badania z wynikami zerowymi nie zostają opublikowane. Błąd publikacji obejmuje też selektywne raportowanie wyników w opublikowanych artykułach.
Jakie są skutki błędu publikacji dla metaanalizy?
Metaanaliza łączy głównie opublikowane wyniki, więc przy błędzie publikacji zawyża efekt łączny. Najsilniej zawyżone są wyniki małych badań, które stają się istotne tylko przy przeszacowanym efekcie.
Jak ograniczyć błąd publikacji w przeglądzie systematycznym?
Przeszukaj rejestry badań i literaturę nieopublikowaną, porównaj publikacje z protokołami i oceń asymetrię wyników wykresem lejkowym oraz testem Eggera.
Powiązane hasła
Poradniki, w których użyjesz tego pojęcia
GRADE – pewność danych naukowych
Pięć dziedzin GRADE na przykładzie metaanalizy: ryzyko błędu, niespójność, nieprecyzyjność z progiem i OIS, tabela wyników i gotowy opis.
Czytaj →PoradnikMetaanaliza krok po kroku
Od pytania do PRISMA 2020: g Hedgesa, model efektów losowych, heterogeniczność i przedział predykcji, moderatory, wykres lejkowy – z kodem metafor.
Czytaj →PoradnikPlan analizy statystycznej i prerejestracja
12 elementów planu analizy, moc i SESOI w R, OSF czy AsPredicted, registered reports, tabela odstępstw i wzór planu w Wordzie do pobrania.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Wyceń analizęOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- Chan, A.-W., Hróbjartsson, A., Haahr, M. T., Gøtzsche, P. C., & Altman, D. G. (2004). Empirical evidence for selective reporting of outcomes in randomized trials. JAMA, 291(20), 2457–2465. https://doi.org/10.1001/jama.291.20.2457
- Franco, A., Malhotra, N., & Simonovits, G. (2014). Publication bias in the social sciences: Unlocking the file drawer. Science, 345(6203), 1502–1505. https://doi.org/10.1126/science.1255484
- Sterne, J. A. C., Sutton, A. J., Ioannidis, J. P. A., Terrin, N., Jones, D. R., Lau, J., Carpenter, J., Rücker, G., Harbord, R. M., Schmid, C. H., Tetzlaff, J., Deeks, J. J., Peters, J., Macaskill, P., Schwarzer, G., Duval, S., Altman, D. G., Moher, D., & Higgins, J. P. T. (2011). Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ, 343, Article d4002. https://doi.org/10.1136/bmj.d4002 ● Otwarty dostęp
Cytowania BibTeX
@article{chan2004empirical, author={Chan, An-Wen and Hróbjartsson, Asbjørn and Haahr, Mette T. and Gøtzsche, Peter C. and Altman, Douglas G.}, title={{Empirical evidence for selective reporting of outcomes in randomized trials}}, journal={JAMA}, year={2004}, volume={291}, number={20}, pages={2457--2465}, doi={10.1001/jama.291.20.2457}}@article{franco2014publication, author={Franco, Annie and Malhotra, Neil and Simonovits, Gabor}, title={{Publication bias in the social sciences: Unlocking the file drawer}}, journal={Science}, year={2014}, volume={345}, number={6203}, pages={1502--1505}, doi={10.1126/science.1255484}}@article{sterne2011recommendations, author={Sterne, Jonathan A. C. and Sutton, Alex J. and Ioannidis, John P. A. and Terrin, Norma and Jones, David R. and Lau, Joseph and Carpenter, James and Rücker, Gerta and Harbord, Roger M. and Schmid, Christopher H. and Tetzlaff, Jennifer and Deeks, Jonathan J. and Peters, Jaime and Macaskill, Petra and Schwarzer, Guido and Duval, Sue and Altman, Douglas G. and Moher, David and Higgins, Julian P. T.}, title={{Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials}}, journal={BMJ}, year={2011}, volume={343}, eid={d4002}, doi={10.1136/bmj.d4002}}