Kalkulatory · Wielokrotne porównania

Kalkulator fałszywych alarmów – ile „istotnych” wyników przy wielu testach

Wpisz liczbę testów i poziom α, a kalkulator pokaże, jak prawdopodobny jest choć jeden fałszywy alarm, ile fałszywych alarmów się spodziewać i jaki mają rozkład. Po dodaniu odsetka prawdziwych efektów i mocy policzy też oczekiwane prawdziwe odkrycia oraz odsetek fałszywych wśród wyników istotnych.

Strona główna / Blog / Kalkulator fałszywych alarmów
W skrócie: Przy N niezależnych testach na poziomie α, gdy efektu nigdzie nie ma, liczba fałszywych alarmów ma rozkład dwumianowy. Prawdopodobieństwo co najmniej jednego wynosi 1 − (1 − α)N, a oczekiwana liczba to N·α. Przy 150 testach i α = .05 daje to 99.95% i 7.5 fałszywego alarmu. Poprawka Bonferroniego obniża ryzyko do 4.88%, ale kosztem mocy: test o mocy 80% traci ją do około 22%. Odsetek fałszywych wśród wyników istotnych zależy od tego, ile testowanych hipotez dotyczy prawdziwego efektu, więc kalkulator liczy go jako scenariusz.

Kalkulator fałszywych alarmów

Ile fałszywych alarmów spodziewać się przy wielu testach

Wpisz liczbę testów i poziom istotności. Odsetek hipotez z prawdziwym efektem jest opcjonalny: gdy pole zostanie puste, kalkulator przyjmie, że żaden efekt nie istnieje. Wartości domyślne to 30 pytań ankiety × 5 zmiennych z metryczki z poradnika o ankietach. Obliczenia wykonuje Twoja przeglądarka: wpisane wartości nie są nigdzie wysyłane ani zapisywane.

Kalkulator wymaga włączonej obsługi JavaScriptu. Wyniki dla wartości domyślnych znajdziesz w przykładzie poniżej.

Tu pojawi się wykres rozkładu liczby fałszywych alarmów.

Gotowy opis do pracy

Opis wyniku pojawi się tutaj po obliczeniu.

Jak używać kalkulatora

Każdy test na poziomie α = .05, w którym hipoteza zerowa jest prawdziwa, ma 5% szans na błąd I rodzaju. Przy jednym teście to mało. Przy wielu testach takie błędy się sumują. Kalkulator odpowiada na pytanie z etapu planowania albo pisania pracy: co oznaczają dla Ciebie liczby testów, które zamierzasz policzyć lub już policzyłeś(-aś)?

  1. Liczba testów N. Policz wszystkie testy, także te, których nie zamierzasz opisać. Tabela krzyżowa 30 pytań z 5 zmiennymi z metryczki to 150 testów, nawet jeśli w pracy znajdzie się tylko 12 z nich.
  2. Poziom α. Zwykle poziom istotności .05. Możesz wpisać go też jako procent, np. 5.
  3. Odsetek hipotez z prawdziwym efektem i moc (opcjonalnie). Te dwie liczby są założeniami, więc podaj kilka scenariuszy. Moc wpisz dla pojedynczego testu przy α bez poprawki. Oszacujesz ją w kalkulatorze liczebności próby, ćwiczenia znajdziesz w zadaniach z mocy testu.
  4. Poprawka. Pole wybiera kolumnę, którą kalkulator pokazuje na wykresie i w gotowym opisie. W tabeli zobaczysz obie wersje obok siebie: bez poprawki i z poprawką Bonferroniego.

Ten kalkulator przewiduje skutki planu. Jeśli masz już konkretne wartości p i chcesz je skorygować, użyj kalkulatora poprawek na wielokrotne porównania. Czy poprawka jest w ogóle potrzebna, omawiamy w poradniku czy stosować poprawkę. Jej rodzaje porównujemy w poradniku poprawki na wielokrotne porównania.

Wzory

Z N testów część dotyczy prawdziwego efektu: N1 to iloczyn N i odsetka π, zaokrąglony do liczby całkowitej. Pozostałe N0 = N − N1 dotyczy hipotez bez efektu. Poziom na pojedynczy test to α* = α bez poprawki i α* = α / N z poprawką Bonferroniego. Liczbę fałszywych alarmów oznaczamy V. Przy niezależnych testach V ma rozkład dwumianowy:

P(V = k) = C(N0, k) · α*k · (1 − α*)N0 − k
P(V ≥ 1) = 1 − (1 − α*)N0
E(V) = N0 · α*,   SD(V) = √[N0 · α* · (1 − α*)]

P(V ≥ 1) to ryzyko choćby jednego fałszywego alarmu w całym zestawie testów, czyli FWER z hasła problem wielokrotnych porównań. Przy samych prawdziwych hipotezach zerowych jest ono równe FDR (Benjamini i Hochberg, 1995). Dla testów z efektem oczekiwana liczba prawdziwych odkryć S oraz odsetek fałszywych wśród wyników istotnych to:

E(S) = N1 · moc*,   odsetek fałszywych = E(V) / [E(V) + E(S)]

Bez poprawki moc* to moc wpisana w formularzu. Moc zależy jednak od progu, więc przy Bonferronim kalkulator przelicza ją dla tej samej wielkości efektu. Najpierw z wpisanej mocy wyznacza niecentralność δ, a potem podstawia ostrzejszy próg (przybliżenie dwustronnym testem z, Φ to dystrybuanta rozkładu normalnego):

moc = Φ(δ − z1 − α/2) + Φ(−δ − z1 − α/2),   moc* = Φ(δ − z1 − α*/2) + Φ(−δ − z1 − α*/2)

Przykład liczbowy

Wartości domyślne pochodzą z poradnika jak opisać wyniki ankiety z 30 pytaniami: 30 pytań × 5 zmiennych z metryczki = 150 testów, α = .05. Tam wynik sprawdzono symulacją 1000 ankiet z typowymi testami (bez żadnego prawdziwego efektu), a tu policzono go z wzorów dla testów niezależnych. Poniżej obie wersje:

Liczba fałszywych alarmów przy 150 testach i α = .05: kalkulator a symulacja ankiety
MiaraKalkulator (wzory)Symulacja ankiety z poradnika
Średnia liczba fałszywych alarmów7.507.6
Odchylenie standardowe2.673.15
Zakres w 90% zestawów3–123–13
Co najmniej 1 fałszywy alarm99.95%99.9%
Co najmniej 5 fałszywych alarmów87.44%85.2%
Co najmniej 10 fałszywych alarmów21.91%25.3%

Zgodność jest dobra, a różnica ma prostą przyczynę. W ankiecie pozycje jednej skali są ze sobą skorelowane, więc ich wyniki „wychodzą” razem. Średnia się nie zmienia, ale rozkład jest szerszy: rzadziej wychodzi co najmniej 5 alarmów, a częściej 10 lub więcej. Bez poprawki najbardziej prawdopodobną liczbą jest 7 (14.99%). Brak jakiegokolwiek fałszywego alarmu ma szansę tylko 0.05%.

Z poprawką Bonferroniego próg dla jednego testu wynosi .05 / 150 = .00033. Ryzyko co najmniej jednego fałszywego alarmu spada do 4.88%, a oczekiwana liczba do 0.05. Żadnego fałszywego alarmu nie ma w 95.12% zestawów.

Prawdziwe efekty zmieniają obraz. Poniższa tabela pokazuje pięć scenariuszy dla tych samych 150 testów. W pierwszym wierszu są 4 prawdziwe efekty, jak w przykładowej ankiecie. W pole odsetka wpisz 2.67, żeby go odtworzyć (2.67% ze 150 to 4 testy).

Oczekiwane fałszywe i prawdziwe odkrycia w pięciu scenariuszach przy 150 testach i α = .05
ScenariuszN0 / N1Moc*E(V)E(S)Odsetek fałszywych
4 efekty, bez poprawki, moc .80146 / 4.8007.303.2069.5%
10%, bez poprawki, moc .80135 / 15.8006.7512.0036.0%
10%, Bonferroni, moc .80135 / 15.2160.053.241.4%
50%, bez poprawki, moc .8075 / 75.8003.7560.005.9%
10%, bez poprawki, moc .40135 / 15.4006.756.0052.9%

W przykładowej ankiecie z poradnika było 12 wyników istotnych: 4 prawdziwe i 8 fałszywych, czyli 67% fałszywych. Model przewiduje 7.30 fałszywych alarmów przy 146 hipotezach bez efektu i 69.5% fałszywych wśród istotnych, więc pojedyncza ankieta wypadła blisko oczekiwań.

Przykład reprodukowalny

Ten sam przykład w R

Kod liczy te same miary co kalkulator (dbinom, pbinom, qbinom i wzory), przelicza moc po poprawce i na końcu symuluje testy zależne, czyli sytuację, której wzory nie obejmują. Wystarczają funkcje bazowego R.

Fałszywe alarmy, Bonferroni, scenariusze i testy zależne

Dane wejściowe: brak danych empirycznych. Parametry to N = 150, α = .05, odsetki prawdziwych efektów i moc; symulacja testów zależnych używa set.seed(2929).

Co odczytać: ryzyko co najmniej jednego fałszywego alarmu, rozkład ich liczby, wyniki po poprawce, tabelę scenariuszy z mocą oraz wpływ korelacji między testami.

R
# K29 – fałszywe alarmy przy wielu testach: te same liczby co w kalkulatorze
set.seed(2929)

# Moc po zmianie poziomu alfa: ta sama wielkość efektu, test dwustronny z (rozkład normalny)
moc_po_korekcie <- function(moc, alfa, alfa_kor) {
  z <- qnorm(1 - alfa / 2)
  delta <- uniroot(function(d) pnorm(d - z) + pnorm(-d - z) - moc, c(0, 50), tol = 1e-13)$root
  z_kor <- qnorm(1 - alfa_kor / 2)
  pnorm(delta - z_kor) + pnorm(-delta - z_kor)
}

# Jeden scenariusz: N testów, odsetek prawdziwych efektów pi, moc przy alfa bez poprawki
scenariusz <- function(N, alfa, pi = 0, moc = NA, bonferroni = FALSE) {
  alfa_test <- if (bonferroni) alfa / N else alfa
  N1 <- round(N * pi); N0 <- N - N1
  moc_test <- if (N1 > 0) (if (bonferroni) moc_po_korekcie(moc, alfa, alfa_test) else moc) else NA
  EV <- N0 * alfa_test
  ES <- if (N1 > 0) N1 * moc_test else 0
  c(N0 = N0, N1 = N1, alfa_test = alfa_test, P_co_najmniej_1 = 1 - (1 - alfa_test)^N0,
    E_falszywe = EV, SD_falszywe = sqrt(N0 * alfa_test * (1 - alfa_test)),
    moc_test = moc_test, E_prawdziwe = ES, odsetek_falszywych = EV / (EV + ES))
}

# 1. 150 testów, alfa = .05, żadnego prawdziwego efektu (jak symulacja w poradniku o ankiecie)
N <- 150; alfa <- .05
round(scenariusz(N, alfa), 4)
k <- 0:20
rozklad <- round(rbind(`P(V = k)` = dbinom(k, N, alfa)), 4)
colnames(rozklad) <- k
rozklad[, 1:16]
cat("P(V >= 5)  =", round(pbinom(4, N, alfa, lower.tail = FALSE), 4), "\n")
cat("P(V >= 10) =", round(pbinom(9, N, alfa, lower.tail = FALSE), 4), "\n")
cat("90% zestawów:", qbinom(.05, N, alfa), "do", qbinom(.95, N, alfa), "fałszywych alarmów\n\n")

# 2. Bonferroni przy tym samym układzie
round(scenariusz(N, alfa, bonferroni = TRUE), 4)
cat("P(V = 0) po poprawce =", round(dbinom(0, N, alfa / N), 4), "\n\n")

# 3. Prawdziwe efekty: 4 na 150 oraz 10% (15 na 150), moc .80 przy alfa bez poprawki
scen <- rbind(
  `4/150 bez poprawki`   = scenariusz(N, alfa, 4 / 150, .80),
  `10% bez poprawki`     = scenariusz(N, alfa, .10, .80),
  `10% Bonferroni`       = scenariusz(N, alfa, .10, .80, TRUE),
  `50% bez poprawki`     = scenariusz(N, alfa, .50, .80),
  `10% moc .40`          = scenariusz(N, alfa, .10, .40))
round(scen[, c("N0", "N1", "E_falszywe", "moc_test", "E_prawdziwe", "odsetek_falszywych")], 3)

# 4. Testy zależne: 150 testów z na wspólnym czynniku, żadnego efektu, 20 000 powtórzeń
p_za_korelacje <- function(rho, powt = 20000, m = 150, a = .05) {
  z_kryt <- qnorm(1 - a / 2)
  V <- replicate(powt, {
    z <- sqrt(rho) * rnorm(1) + sqrt(1 - rho) * rnorm(m)
    sum(abs(z) > z_kryt)
  })
  c(rho = rho, srednia = mean(V), SD = sd(V), P_co_najmniej_1 = mean(V >= 1), P_co_najmniej_10 = mean(V >= 10))
}
round(t(sapply(c(0, .1, .3, .6), p_za_korelacje)), 3)
Wynik w R
                N0                 N1          alfa_test    P_co_najmniej_1 
          150.0000             0.0000             0.0500             0.9995 
        E_falszywe        SD_falszywe           moc_test        E_prawdziwe 
            7.5000             2.6693                 NA             0.0000 
odsetek_falszywych 
            1.0000 
     0      1      2      3      4      5      6      7      8      9     10 
0.0005 0.0036 0.0141 0.0366 0.0708 0.1088 0.1384 0.1499 0.1410 0.1171 0.0869 
    11     12     13     14     15 
0.0582 0.0355 0.0198 0.0102 0.0049 
P(V >= 5)  = 0.8744 
P(V >= 10) = 0.2191 
90% zestawów: 3 do 12 fałszywych alarmów

                N0                 N1          alfa_test    P_co_najmniej_1 
          150.0000             0.0000             0.0003             0.0488 
        E_falszywe        SD_falszywe           moc_test        E_prawdziwe 
            0.0500             0.2236                 NA             0.0000 
odsetek_falszywych 
            1.0000 
P(V = 0) po poprawce = 0.9512 

                    N0 N1 E_falszywe moc_test E_prawdziwe odsetek_falszywych
4/150 bez poprawki 146  4      7.300    0.800       3.200              0.695
10% bez poprawki   135 15      6.750    0.800      12.000              0.360
10% Bonferroni     135 15      0.045    0.216       3.238              0.014
50% bez poprawki    75 75      3.750    0.800      60.000              0.059
10% moc .40        135 15      6.750    0.400       6.000              0.529
     rho srednia     SD P_co_najmniej_1 P_co_najmniej_10
[1,] 0.0   7.482  2.662           0.999            0.216
[2,] 0.1   7.509  3.618           0.999            0.229
[3,] 0.3   7.503  7.748           0.982            0.233
[4,] 0.6   7.641 15.341           0.723            0.208

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje dbinom(), pbinom(), qbinom(), pnorm(), qnorm(), uniroot() i rnorm() z pakietu stats). Zgodność kalkulatora z R sprawdzono na 329 przypadkach testowych, w tym N = 1, N = 1 000 000, bardzo małe α i sytuację, gdy wszystkie hipotezy mają efekt; największa różnica wyniosła 9 × 10⁻¹¹.

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/

Jak interpretować wynik

  • Dwie liczby odpowiadają na dwa pytania. 99.95% to szansa, że w zestawie będzie choć jeden fałszywy alarm, a 7.5 to ich średnia liczba. Pierwszej miary nie opisuj jako „99.95% wyników jest fałszywych”, bo dotyczy całego zestawu testów, a nie pojedynczego wyniku.
  • Odsetek fałszywych zależy od tego, co testujesz. Te same 150 testów daje 69.5% fałszywych wśród istotnych przy 4 efektach, a 5.9% przy 75. Ioannidis (2005) wskazuje, że prawdopodobieństwo prawdziwości wyniku zależy od mocy i od stosunku związków prawdziwych do nieprawdziwych wśród badanych. Mechanizm jest ten sam co przy testach przesiewowych, co Colquhoun (2014) pokazał na diagramach drzewkowych i symulacjach testów t. Dlatego „testowanie wszystkiego ze wszystkim” jest gorsze od kilku hipotez wynikających z teorii: niski odsetek efektów podbija udział fałszywych, nawet jeśli żaden pojedynczy test nie jest błędny. Pokrewne pojęcie z testów diagnostycznych opisuje hasło wartość predykcyjna.
  • Bonferroni ma cenę. W scenariuszu z 10% efektów poprawka usuwa prawie wszystkie fałszywe alarmy (z 6.75 do 0.05), ale moc spada z 80% do 21.6%, a oczekiwana liczba prawdziwych odkryć z 12 do 3.24. Poprawka jest potrzebna, gdy wyniki kilku testów składają się na jeden wniosek (Bender i Lange, 2001). Rubin (2021) uważa ją za właściwą przy takim testowaniu, a za niewłaściwą, gdy każdy test weryfikuje osobną hipotezę. Łagodniejsze metody, np. Holma albo Benjaminiego–Hochberga, porównasz w kalkulatorze poprawek.
  • Najlepszą poprawką jest mniej testów. Jeśli kalkulator pokazuje kilka fałszywych alarmów, wróć do hipotez i wybierz testy, które z nich wynikają. Resztę opisz bez testów albo wyraźnie oznacz jako eksplorację. Jak to zrobić krok po kroku, pokazuje poradnik o ankiecie z 30 pytaniami. Listę testów najlepiej ustalić z góry w planie analizy.

Ograniczenia

  • Niezależność testów. Wzory zakładają, że testy są niezależne. Oczekiwana liczba fałszywych alarmów nie zależy od tego założenia, bo wartość oczekiwana sumy nie wymaga niezależności. Rozkład i P(V ≥ 1) już tak. W symulacji 150 testów ze wspólnym czynnikiem, przy korelacji .3 między nimi, średnia wyniosła 7.50, ale SD wzrosło z 2.67 do 7.75, a szansa choć jednego alarmu spadła do 98.2%. Przy korelacji .6 było to już tylko 72.3%. Kalkulator pokazuje więc wersję dla testów niezależnych, a przy powiązanych pytaniach fałszywe alarmy częściej pojawiają się grupami.
  • Tylko testy, które policzysz. Liczba N to testy faktycznie wykonane. Simmons, Nelson i Simonsohn (2011) pokazali, że sama swoboda w zbieraniu danych i wyborze analiz znacząco podnosi odsetek fałszywie pozytywnych wyników. Zmiana kodowania, usuwanie osób czy dodawanie zmiennych to kolejne ukryte testy, czyli p-hacking. Dopisywanie hipotez po wyniku to HARKing.
  • Moc jest jedna dla wszystkich efektów. Model przyjmuje jedną moc na test. W prawdziwych danych efekty są różne, a moc po poprawce to przybliżenie dla dwustronnego testu z, więc traktuj wynik jako rząd wielkości.
  • Odsetek fałszywych to wartość oczekiwana. To stosunek oczekiwanej liczby fałszywych alarmów do oczekiwanej liczby wszystkich wyników istotnych, czyli udział w wielu powtórzeniach tej samej baterii testów. W pojedynczym badaniu może wyjść inaczej. Nie jest też tożsamy z FDR, czyli oczekiwanym odsetkiem liczonym osobno w każdym zestawie (Benjamini i Hochberg, 1995), choć przy wielu testach wartości są zwykle zbliżone.
  • Wszystkie wyniki istotne liczą się tak samo. Kalkulator nie patrzy, jak małe jest p. Wynik przy .049 jest słabszym sygnałem niż wynik przy .001, a oba trafiają tu do jednej grupy. Pojedyncze p policzysz w kalkulatorze wartości p.

Opis do pracy

Wynik kalkulatora możesz wykorzystać w rozdziale o ograniczeniach albo w uzasadnieniu liczby testów. Przykład dla wartości domyślnych:

Wykonano 150 testów istotności na poziomie α = .05, bez poprawki na wielokrotne porównania. Przy założeniu niezależności testów i prawdziwości wszystkich hipotez zerowych oczekiwana liczba fałszywych alarmów wynosiła 7.50. Prawdopodobieństwo co najmniej jednego fałszywego alarmu oszacowano na 99.95%. Wyniki analiz eksploracyjnych traktujemy jako wstępne i wymagające potwierdzenia.

Gdy stosujesz poprawkę, podaj liczbę testów w rodzinie, metodę i skorygowane wartości, np. „z uwzględnieniem poprawki Bonferroniego (150 testów, α na jeden test = .00033)”. Same wyniki poprawek wpisz według wskazówek z kalkulatora poprawek. Nie podawaj liczb z tego kalkulatora jako wyników badania: to oszacowania oparte na założeniach.

Najczęstsze pytania

Ile wyników wyjdzie „istotnych” przypadkiem przy 150 testach?

Gdy żaden efekt nie istnieje, a testy są niezależne, na poziomie α = .05 spodziewasz się 150 × .05 = 7.5 fałszywego alarmu. W 90% takich zestawów wyjdzie od 3 do 12 wyników istotnych, a co najmniej jeden pojawi się w 99.95% zestawów. Symulacja ankiety z 30 pytaniami i 5 zmiennymi z metryczki daje bardzo zbliżone wyniki.

Dlaczego prawdopodobieństwo jest prawie 100%, a fałszywych alarmów tylko kilka?

To dwie różne miary. Prawdopodobieństwo co najmniej jednego fałszywego alarmu odpowiada na pytanie „czy w ogóle się zdarzy”, a oczekiwana liczba na pytanie „ile ich będzie średnio”. Przy 150 testach wystarczy jeden fałszywy alarm, żeby pierwsza miara była spełniona, więc rośnie ona szybko do 100%. Druga rośnie liniowo z liczbą testów.

Czy poprawka Bonferroniego rozwiązuje problem?

Rozwiązuje jedną jego część: ryzyko choćby jednego fałszywego alarmu spada do około α. Płacisz za to mocą. Przy 150 testach próg na test wynosi .00033, więc test, który miał moc 80%, ma już około 22%. Poprawka jest potrzebna, gdy z kilku testów wyciągasz jeden wspólny wniosek (Bender i Lange, 2001). Gdy każdy test sprawdza odrębną hipotezę, Rubin (2021) uważa ją za niewłaściwą.

Skąd wziąć odsetek hipotez z prawdziwym efektem?

Tej liczby zwykle nie znasz, więc potraktuj ją jako scenariusz. Wpisz kilka wartości, na przykład 5%, 10% i 30%, i zobacz, jak zmienia się wynik. Przy pracy eksploracyjnej, w której testujesz wszystko ze wszystkim, sensowniejsze są niskie wartości. Gdy testujesz kilka hipotez wynikających z teorii i wcześniejszych badań, odsetek będzie wyższy.

Czym odsetek fałszywych wśród istotnych różni się od wartości p?

Wartość p opisuje dane przy założeniu, że hipoteza zerowa jest prawdziwa. Nie mówi, jak często wynik istotny okaże się fałszywy. Ten odsetek zależy jeszcze od mocy i od tego, ile testowanych hipotez dotyczy prawdziwego efektu. Przy α = .05 i mocy 80% wynosi 36%, gdy efekt ma 10% hipotez, a około 6%, gdy ma go połowa.

Powiązane hasła

Przeczytaj też

Masz w pracy dziesiątki testów i nie wiesz, które zostawić?

Pomożemy wybrać testy wynikające z hipotez, dobrać poprawkę, sprawdzimy obliczenia w R lub SPSS i wyjaśnimy wyniki tak, żebyś umiał(a) samodzielnie je opisać i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Bender, R., & Lange, S. (2001). Adjusting for multiple testing—When and how? Journal of Clinical Epidemiology, 54(4), 343–349. https://doi.org/10.1016/S0895-4356(00)00314-0
  2. Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
  3. Colquhoun, D. (2014). An investigation of the false discovery rate and the misinterpretation of p-values. Royal Society Open Science, 1(3), Article 140216. https://doi.org/10.1098/rsos.140216 ● Otwarty dostęp
  4. Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), Article e124. https://doi.org/10.1371/journal.pmed.0020124 ● Otwarty dostęp
  5. Rubin, M. (2021). When to adjust alpha during multiple testing: A consideration of disjunction, conjunction, and individual testing. Synthese, 199(3–4), 10969–11000. https://doi.org/10.1007/s11229-021-03276-4 ● Otwarty dostęp: pełny tekst
  6. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632

Cytowania BibTeX

@article{bender2001adjusting, author={Bender, Ralf and Lange, Stefan}, title={{Adjusting for multiple testing—When and how?}}, journal={Journal of Clinical Epidemiology}, year={2001}, volume={54}, number={4}, pages={343--349}, doi={10.1016/s0895-4356(00)00314-0}}
@article{benjamini1995controlling, author={Benjamini, Yoav and Hochberg, Yosef}, title={{Controlling the false discovery rate: A practical and powerful approach to multiple testing}}, journal={Journal of the Royal Statistical Society: Series B (Methodological)}, year={1995}, volume={57}, number={1}, pages={289--300}, doi={10.1111/j.2517-6161.1995.tb02031.x}}
@article{colquhoun2014investigation, author={Colquhoun, David}, title={{An investigation of the false discovery rate and the misinterpretation of p-values}}, journal={Royal Society Open Science}, year={2014}, volume={1}, number={3}, eid={140216}, doi={10.1098/rsos.140216}}
@article{ioannidis2005why, author={Ioannidis, John P. A.}, title={{Why most published research findings are false}}, journal={PLoS Medicine}, year={2005}, volume={2}, number={8}, eid={e124}, doi={10.1371/journal.pmed.0020124}}
@article{rubin2021when, author={Rubin, Mark}, title={{When to adjust alpha during multiple testing: A consideration of disjunction, conjunction, and individual testing}}, journal={Synthese}, year={2021}, volume={199}, number={3–4}, pages={10969--11000}, doi={10.1007/s11229-021-03276-4}}
@article{simmons2011false, author={Simmons, Joseph P. and Nelson, Leif D. and Simonsohn, Uri}, title={{False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant}}, journal={Psychological Science}, year={2011}, volume={22}, number={11}, pages={1359--1366}, doi={10.1177/0956797611417632}}
R