Kalkulator fałszywych alarmów
Ile fałszywych alarmów spodziewać się przy wielu testach
Wpisz liczbę testów i poziom istotności. Odsetek hipotez z prawdziwym efektem jest opcjonalny: gdy pole zostanie puste, kalkulator przyjmie, że żaden efekt nie istnieje. Wartości domyślne to 30 pytań ankiety × 5 zmiennych z metryczki z poradnika o ankietach. Obliczenia wykonuje Twoja przeglądarka: wpisane wartości nie są nigdzie wysyłane ani zapisywane.
Kalkulator wymaga włączonej obsługi JavaScriptu. Wyniki dla wartości domyślnych znajdziesz w przykładzie poniżej.
Tu pojawi się wykres rozkładu liczby fałszywych alarmów.
Gotowy opis do pracy
Jak używać kalkulatora
Każdy test na poziomie α = .05, w którym hipoteza zerowa jest prawdziwa, ma 5% szans na błąd I rodzaju. Przy jednym teście to mało. Przy wielu testach takie błędy się sumują. Kalkulator odpowiada na pytanie z etapu planowania albo pisania pracy: co oznaczają dla Ciebie liczby testów, które zamierzasz policzyć lub już policzyłeś(-aś)?
- Liczba testów N. Policz wszystkie testy, także te, których nie zamierzasz opisać. Tabela krzyżowa 30 pytań z 5 zmiennymi z metryczki to 150 testów, nawet jeśli w pracy znajdzie się tylko 12 z nich.
- Poziom α. Zwykle poziom istotności .05. Możesz wpisać go też jako procent, np. 5.
- Odsetek hipotez z prawdziwym efektem i moc (opcjonalnie). Te dwie liczby są założeniami, więc podaj kilka scenariuszy. Moc wpisz dla pojedynczego testu przy α bez poprawki. Oszacujesz ją w kalkulatorze liczebności próby, ćwiczenia znajdziesz w zadaniach z mocy testu.
- Poprawka. Pole wybiera kolumnę, którą kalkulator pokazuje na wykresie i w gotowym opisie. W tabeli zobaczysz obie wersje obok siebie: bez poprawki i z poprawką Bonferroniego.
Ten kalkulator przewiduje skutki planu. Jeśli masz już konkretne wartości p i chcesz je skorygować, użyj kalkulatora poprawek na wielokrotne porównania. Czy poprawka jest w ogóle potrzebna, omawiamy w poradniku czy stosować poprawkę. Jej rodzaje porównujemy w poradniku poprawki na wielokrotne porównania.
Wzory
Z N testów część dotyczy prawdziwego efektu: N1 to iloczyn N i odsetka π, zaokrąglony do liczby całkowitej. Pozostałe N0 = N − N1 dotyczy hipotez bez efektu. Poziom na pojedynczy test to α* = α bez poprawki i α* = α / N z poprawką Bonferroniego. Liczbę fałszywych alarmów oznaczamy V. Przy niezależnych testach V ma rozkład dwumianowy:
P(V ≥ 1) to ryzyko choćby jednego fałszywego alarmu w całym zestawie testów, czyli FWER z hasła problem wielokrotnych porównań. Przy samych prawdziwych hipotezach zerowych jest ono równe FDR (Benjamini i Hochberg, 1995). Dla testów z efektem oczekiwana liczba prawdziwych odkryć S oraz odsetek fałszywych wśród wyników istotnych to:
Bez poprawki moc* to moc wpisana w formularzu. Moc zależy jednak od progu, więc przy Bonferronim kalkulator przelicza ją dla tej samej wielkości efektu. Najpierw z wpisanej mocy wyznacza niecentralność δ, a potem podstawia ostrzejszy próg (przybliżenie dwustronnym testem z, Φ to dystrybuanta rozkładu normalnego):
Przykład liczbowy
Wartości domyślne pochodzą z poradnika jak opisać wyniki ankiety z 30 pytaniami: 30 pytań × 5 zmiennych z metryczki = 150 testów, α = .05. Tam wynik sprawdzono symulacją 1000 ankiet z typowymi testami (bez żadnego prawdziwego efektu), a tu policzono go z wzorów dla testów niezależnych. Poniżej obie wersje:
| Miara | Kalkulator (wzory) | Symulacja ankiety z poradnika |
|---|---|---|
| Średnia liczba fałszywych alarmów | 7.50 | 7.6 |
| Odchylenie standardowe | 2.67 | 3.15 |
| Zakres w 90% zestawów | 3–12 | 3–13 |
| Co najmniej 1 fałszywy alarm | 99.95% | 99.9% |
| Co najmniej 5 fałszywych alarmów | 87.44% | 85.2% |
| Co najmniej 10 fałszywych alarmów | 21.91% | 25.3% |
Zgodność jest dobra, a różnica ma prostą przyczynę. W ankiecie pozycje jednej skali są ze sobą skorelowane, więc ich wyniki „wychodzą” razem. Średnia się nie zmienia, ale rozkład jest szerszy: rzadziej wychodzi co najmniej 5 alarmów, a częściej 10 lub więcej. Bez poprawki najbardziej prawdopodobną liczbą jest 7 (14.99%). Brak jakiegokolwiek fałszywego alarmu ma szansę tylko 0.05%.
Z poprawką Bonferroniego próg dla jednego testu wynosi .05 / 150 = .00033. Ryzyko co najmniej jednego fałszywego alarmu spada do 4.88%, a oczekiwana liczba do 0.05. Żadnego fałszywego alarmu nie ma w 95.12% zestawów.
Prawdziwe efekty zmieniają obraz. Poniższa tabela pokazuje pięć scenariuszy dla tych samych 150 testów. W pierwszym wierszu są 4 prawdziwe efekty, jak w przykładowej ankiecie. W pole odsetka wpisz 2.67, żeby go odtworzyć (2.67% ze 150 to 4 testy).
| Scenariusz | N0 / N1 | Moc* | E(V) | E(S) | Odsetek fałszywych |
|---|---|---|---|---|---|
| 4 efekty, bez poprawki, moc .80 | 146 / 4 | .800 | 7.30 | 3.20 | 69.5% |
| 10%, bez poprawki, moc .80 | 135 / 15 | .800 | 6.75 | 12.00 | 36.0% |
| 10%, Bonferroni, moc .80 | 135 / 15 | .216 | 0.05 | 3.24 | 1.4% |
| 50%, bez poprawki, moc .80 | 75 / 75 | .800 | 3.75 | 60.00 | 5.9% |
| 10%, bez poprawki, moc .40 | 135 / 15 | .400 | 6.75 | 6.00 | 52.9% |
W przykładowej ankiecie z poradnika było 12 wyników istotnych: 4 prawdziwe i 8 fałszywych, czyli 67% fałszywych. Model przewiduje 7.30 fałszywych alarmów przy 146 hipotezach bez efektu i 69.5% fałszywych wśród istotnych, więc pojedyncza ankieta wypadła blisko oczekiwań.
Ten sam przykład w R
Kod liczy te same miary co kalkulator (dbinom, pbinom, qbinom i wzory), przelicza moc po poprawce i na końcu symuluje testy zależne, czyli sytuację, której wzory nie obejmują. Wystarczają funkcje bazowego R.
Fałszywe alarmy, Bonferroni, scenariusze i testy zależne
R
# K29 – fałszywe alarmy przy wielu testach: te same liczby co w kalkulatorze
set.seed(2929)
# Moc po zmianie poziomu alfa: ta sama wielkość efektu, test dwustronny z (rozkład normalny)
moc_po_korekcie <- function(moc, alfa, alfa_kor) {
z <- qnorm(1 - alfa / 2)
delta <- uniroot(function(d) pnorm(d - z) + pnorm(-d - z) - moc, c(0, 50), tol = 1e-13)$root
z_kor <- qnorm(1 - alfa_kor / 2)
pnorm(delta - z_kor) + pnorm(-delta - z_kor)
}
# Jeden scenariusz: N testów, odsetek prawdziwych efektów pi, moc przy alfa bez poprawki
scenariusz <- function(N, alfa, pi = 0, moc = NA, bonferroni = FALSE) {
alfa_test <- if (bonferroni) alfa / N else alfa
N1 <- round(N * pi); N0 <- N - N1
moc_test <- if (N1 > 0) (if (bonferroni) moc_po_korekcie(moc, alfa, alfa_test) else moc) else NA
EV <- N0 * alfa_test
ES <- if (N1 > 0) N1 * moc_test else 0
c(N0 = N0, N1 = N1, alfa_test = alfa_test, P_co_najmniej_1 = 1 - (1 - alfa_test)^N0,
E_falszywe = EV, SD_falszywe = sqrt(N0 * alfa_test * (1 - alfa_test)),
moc_test = moc_test, E_prawdziwe = ES, odsetek_falszywych = EV / (EV + ES))
}
# 1. 150 testów, alfa = .05, żadnego prawdziwego efektu (jak symulacja w poradniku o ankiecie)
N <- 150; alfa <- .05
round(scenariusz(N, alfa), 4)
k <- 0:20
rozklad <- round(rbind(`P(V = k)` = dbinom(k, N, alfa)), 4)
colnames(rozklad) <- k
rozklad[, 1:16]
cat("P(V >= 5) =", round(pbinom(4, N, alfa, lower.tail = FALSE), 4), "\n")
cat("P(V >= 10) =", round(pbinom(9, N, alfa, lower.tail = FALSE), 4), "\n")
cat("90% zestawów:", qbinom(.05, N, alfa), "do", qbinom(.95, N, alfa), "fałszywych alarmów\n\n")
# 2. Bonferroni przy tym samym układzie
round(scenariusz(N, alfa, bonferroni = TRUE), 4)
cat("P(V = 0) po poprawce =", round(dbinom(0, N, alfa / N), 4), "\n\n")
# 3. Prawdziwe efekty: 4 na 150 oraz 10% (15 na 150), moc .80 przy alfa bez poprawki
scen <- rbind(
`4/150 bez poprawki` = scenariusz(N, alfa, 4 / 150, .80),
`10% bez poprawki` = scenariusz(N, alfa, .10, .80),
`10% Bonferroni` = scenariusz(N, alfa, .10, .80, TRUE),
`50% bez poprawki` = scenariusz(N, alfa, .50, .80),
`10% moc .40` = scenariusz(N, alfa, .10, .40))
round(scen[, c("N0", "N1", "E_falszywe", "moc_test", "E_prawdziwe", "odsetek_falszywych")], 3)
# 4. Testy zależne: 150 testów z na wspólnym czynniku, żadnego efektu, 20 000 powtórzeń
p_za_korelacje <- function(rho, powt = 20000, m = 150, a = .05) {
z_kryt <- qnorm(1 - a / 2)
V <- replicate(powt, {
z <- sqrt(rho) * rnorm(1) + sqrt(1 - rho) * rnorm(m)
sum(abs(z) > z_kryt)
})
c(rho = rho, srednia = mean(V), SD = sd(V), P_co_najmniej_1 = mean(V >= 1), P_co_najmniej_10 = mean(V >= 10))
}
round(t(sapply(c(0, .1, .3, .6), p_za_korelacje)), 3)Wynik w R
N0 N1 alfa_test P_co_najmniej_1
150.0000 0.0000 0.0500 0.9995
E_falszywe SD_falszywe moc_test E_prawdziwe
7.5000 2.6693 NA 0.0000
odsetek_falszywych
1.0000
0 1 2 3 4 5 6 7 8 9 10
0.0005 0.0036 0.0141 0.0366 0.0708 0.1088 0.1384 0.1499 0.1410 0.1171 0.0869
11 12 13 14 15
0.0582 0.0355 0.0198 0.0102 0.0049
P(V >= 5) = 0.8744
P(V >= 10) = 0.2191
90% zestawów: 3 do 12 fałszywych alarmów
N0 N1 alfa_test P_co_najmniej_1
150.0000 0.0000 0.0003 0.0488
E_falszywe SD_falszywe moc_test E_prawdziwe
0.0500 0.2236 NA 0.0000
odsetek_falszywych
1.0000
P(V = 0) po poprawce = 0.9512
N0 N1 E_falszywe moc_test E_prawdziwe odsetek_falszywych
4/150 bez poprawki 146 4 7.300 0.800 3.200 0.695
10% bez poprawki 135 15 6.750 0.800 12.000 0.360
10% Bonferroni 135 15 0.045 0.216 3.238 0.014
50% bez poprawki 75 75 3.750 0.800 60.000 0.059
10% moc .40 135 15 6.750 0.400 6.000 0.529
rho srednia SD P_co_najmniej_1 P_co_najmniej_10
[1,] 0.0 7.482 2.662 0.999 0.216
[2,] 0.1 7.509 3.618 0.999 0.229
[3,] 0.3 7.503 7.748 0.982 0.233
[4,] 0.6 7.641 15.341 0.723 0.208Bibliografia oprogramowania
Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje dbinom(), pbinom(), qbinom(), pnorm(), qnorm(), uniroot() i rnorm() z pakietu stats). Zgodność kalkulatora z R sprawdzono na 329 przypadkach testowych, w tym N = 1, N = 1 000 000, bardzo małe α i sytuację, gdy wszystkie hipotezy mają efekt; największa różnica wyniosła 9 × 10⁻¹¹.
- R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
Jak interpretować wynik
- Dwie liczby odpowiadają na dwa pytania. 99.95% to szansa, że w zestawie będzie choć jeden fałszywy alarm, a 7.5 to ich średnia liczba. Pierwszej miary nie opisuj jako „99.95% wyników jest fałszywych”, bo dotyczy całego zestawu testów, a nie pojedynczego wyniku.
- Odsetek fałszywych zależy od tego, co testujesz. Te same 150 testów daje 69.5% fałszywych wśród istotnych przy 4 efektach, a 5.9% przy 75. Ioannidis (2005) wskazuje, że prawdopodobieństwo prawdziwości wyniku zależy od mocy i od stosunku związków prawdziwych do nieprawdziwych wśród badanych. Mechanizm jest ten sam co przy testach przesiewowych, co Colquhoun (2014) pokazał na diagramach drzewkowych i symulacjach testów t. Dlatego „testowanie wszystkiego ze wszystkim” jest gorsze od kilku hipotez wynikających z teorii: niski odsetek efektów podbija udział fałszywych, nawet jeśli żaden pojedynczy test nie jest błędny. Pokrewne pojęcie z testów diagnostycznych opisuje hasło wartość predykcyjna.
- Bonferroni ma cenę. W scenariuszu z 10% efektów poprawka usuwa prawie wszystkie fałszywe alarmy (z 6.75 do 0.05), ale moc spada z 80% do 21.6%, a oczekiwana liczba prawdziwych odkryć z 12 do 3.24. Poprawka jest potrzebna, gdy wyniki kilku testów składają się na jeden wniosek (Bender i Lange, 2001). Rubin (2021) uważa ją za właściwą przy takim testowaniu, a za niewłaściwą, gdy każdy test weryfikuje osobną hipotezę. Łagodniejsze metody, np. Holma albo Benjaminiego–Hochberga, porównasz w kalkulatorze poprawek.
- Najlepszą poprawką jest mniej testów. Jeśli kalkulator pokazuje kilka fałszywych alarmów, wróć do hipotez i wybierz testy, które z nich wynikają. Resztę opisz bez testów albo wyraźnie oznacz jako eksplorację. Jak to zrobić krok po kroku, pokazuje poradnik o ankiecie z 30 pytaniami. Listę testów najlepiej ustalić z góry w planie analizy.
Ograniczenia
- Niezależność testów. Wzory zakładają, że testy są niezależne. Oczekiwana liczba fałszywych alarmów nie zależy od tego założenia, bo wartość oczekiwana sumy nie wymaga niezależności. Rozkład i P(V ≥ 1) już tak. W symulacji 150 testów ze wspólnym czynnikiem, przy korelacji .3 między nimi, średnia wyniosła 7.50, ale SD wzrosło z 2.67 do 7.75, a szansa choć jednego alarmu spadła do 98.2%. Przy korelacji .6 było to już tylko 72.3%. Kalkulator pokazuje więc wersję dla testów niezależnych, a przy powiązanych pytaniach fałszywe alarmy częściej pojawiają się grupami.
- Tylko testy, które policzysz. Liczba N to testy faktycznie wykonane. Simmons, Nelson i Simonsohn (2011) pokazali, że sama swoboda w zbieraniu danych i wyborze analiz znacząco podnosi odsetek fałszywie pozytywnych wyników. Zmiana kodowania, usuwanie osób czy dodawanie zmiennych to kolejne ukryte testy, czyli p-hacking. Dopisywanie hipotez po wyniku to HARKing.
- Moc jest jedna dla wszystkich efektów. Model przyjmuje jedną moc na test. W prawdziwych danych efekty są różne, a moc po poprawce to przybliżenie dla dwustronnego testu z, więc traktuj wynik jako rząd wielkości.
- Odsetek fałszywych to wartość oczekiwana. To stosunek oczekiwanej liczby fałszywych alarmów do oczekiwanej liczby wszystkich wyników istotnych, czyli udział w wielu powtórzeniach tej samej baterii testów. W pojedynczym badaniu może wyjść inaczej. Nie jest też tożsamy z FDR, czyli oczekiwanym odsetkiem liczonym osobno w każdym zestawie (Benjamini i Hochberg, 1995), choć przy wielu testach wartości są zwykle zbliżone.
- Wszystkie wyniki istotne liczą się tak samo. Kalkulator nie patrzy, jak małe jest p. Wynik przy .049 jest słabszym sygnałem niż wynik przy .001, a oba trafiają tu do jednej grupy. Pojedyncze p policzysz w kalkulatorze wartości p.
Opis do pracy
Wynik kalkulatora możesz wykorzystać w rozdziale o ograniczeniach albo w uzasadnieniu liczby testów. Przykład dla wartości domyślnych:
Gdy stosujesz poprawkę, podaj liczbę testów w rodzinie, metodę i skorygowane wartości, np. „z uwzględnieniem poprawki Bonferroniego (150 testów, α na jeden test = .00033)”. Same wyniki poprawek wpisz według wskazówek z kalkulatora poprawek. Nie podawaj liczb z tego kalkulatora jako wyników badania: to oszacowania oparte na założeniach.
Najczęstsze pytania
Ile wyników wyjdzie „istotnych” przypadkiem przy 150 testach?
Gdy żaden efekt nie istnieje, a testy są niezależne, na poziomie α = .05 spodziewasz się 150 × .05 = 7.5 fałszywego alarmu. W 90% takich zestawów wyjdzie od 3 do 12 wyników istotnych, a co najmniej jeden pojawi się w 99.95% zestawów. Symulacja ankiety z 30 pytaniami i 5 zmiennymi z metryczki daje bardzo zbliżone wyniki.
Dlaczego prawdopodobieństwo jest prawie 100%, a fałszywych alarmów tylko kilka?
To dwie różne miary. Prawdopodobieństwo co najmniej jednego fałszywego alarmu odpowiada na pytanie „czy w ogóle się zdarzy”, a oczekiwana liczba na pytanie „ile ich będzie średnio”. Przy 150 testach wystarczy jeden fałszywy alarm, żeby pierwsza miara była spełniona, więc rośnie ona szybko do 100%. Druga rośnie liniowo z liczbą testów.
Czy poprawka Bonferroniego rozwiązuje problem?
Rozwiązuje jedną jego część: ryzyko choćby jednego fałszywego alarmu spada do około α. Płacisz za to mocą. Przy 150 testach próg na test wynosi .00033, więc test, który miał moc 80%, ma już około 22%. Poprawka jest potrzebna, gdy z kilku testów wyciągasz jeden wspólny wniosek (Bender i Lange, 2001). Gdy każdy test sprawdza odrębną hipotezę, Rubin (2021) uważa ją za niewłaściwą.
Skąd wziąć odsetek hipotez z prawdziwym efektem?
Tej liczby zwykle nie znasz, więc potraktuj ją jako scenariusz. Wpisz kilka wartości, na przykład 5%, 10% i 30%, i zobacz, jak zmienia się wynik. Przy pracy eksploracyjnej, w której testujesz wszystko ze wszystkim, sensowniejsze są niskie wartości. Gdy testujesz kilka hipotez wynikających z teorii i wcześniejszych badań, odsetek będzie wyższy.
Czym odsetek fałszywych wśród istotnych różni się od wartości p?
Wartość p opisuje dane przy założeniu, że hipoteza zerowa jest prawdziwa. Nie mówi, jak często wynik istotny okaże się fałszywy. Ten odsetek zależy jeszcze od mocy i od tego, ile testowanych hipotez dotyczy prawdziwego efektu. Przy α = .05 i mocy 80% wynosi 36%, gdy efekt ma 10% hipotez, a około 6%, gdy ma go połowa.
Powiązane hasła
Przeczytaj też
Wyniki ankiety z 30 pytaniami bez 30 testów
Rola każdego pytania, tabela zbiorcza z 95% CI, wynik skali, testy tylko dla hipotez, eksploracja z FDR i gotowy szkic rozdziału wyników.
Czytaj →PoradnikCzy muszę stosować poprawkę?
Kiedy poprawka na wielokrotne porównania jest potrzebna, a kiedy nie: rodzina testów, tabela tak/nie, przykład w R i wzór uzasadnienia w pracy.
Czytaj →PoradnikPoprawki na wielokrotne porównania
Bonferroni, Holm, Hochberg, BH i BY na jednym przykładzie: co kontroluje każda poprawka, kiedy którą wybrać i jak opisać wynik w pracy.
Czytaj →PoradnikKalkulator poprawek na wielokrotne porównania
Skorygowane p metodami Bonferroniego, Holma, Hochberga, Hommela, Benjaminiego–Hochberga i Benjaminiego–Yekutieliego z wklejonej listy, zgodne z p.adjust() w R.
Czytaj →Masz w pracy dziesiątki testów i nie wiesz, które zostawić?
Pomożemy wybrać testy wynikające z hipotez, dobrać poprawkę, sprawdzimy obliczenia w R lub SPSS i wyjaśnimy wyniki tak, żebyś umiał(a) samodzielnie je opisać i obronić.
Oferta dla studentówWyceń analizęBibliografia i dalsza literatura naukowa (APA 7)
- Bender, R., & Lange, S. (2001). Adjusting for multiple testing—When and how? Journal of Clinical Epidemiology, 54(4), 343–349. https://doi.org/10.1016/S0895-4356(00)00314-0
- Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
- Colquhoun, D. (2014). An investigation of the false discovery rate and the misinterpretation of p-values. Royal Society Open Science, 1(3), Article 140216. https://doi.org/10.1098/rsos.140216 ● Otwarty dostęp
- Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), Article e124. https://doi.org/10.1371/journal.pmed.0020124 ● Otwarty dostęp
- Rubin, M. (2021). When to adjust alpha during multiple testing: A consideration of disjunction, conjunction, and individual testing. Synthese, 199(3–4), 10969–11000. https://doi.org/10.1007/s11229-021-03276-4 ● Otwarty dostęp: pełny tekst
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Cytowania BibTeX
@article{bender2001adjusting, author={Bender, Ralf and Lange, Stefan}, title={{Adjusting for multiple testing—When and how?}}, journal={Journal of Clinical Epidemiology}, year={2001}, volume={54}, number={4}, pages={343--349}, doi={10.1016/s0895-4356(00)00314-0}}@article{benjamini1995controlling, author={Benjamini, Yoav and Hochberg, Yosef}, title={{Controlling the false discovery rate: A practical and powerful approach to multiple testing}}, journal={Journal of the Royal Statistical Society: Series B (Methodological)}, year={1995}, volume={57}, number={1}, pages={289--300}, doi={10.1111/j.2517-6161.1995.tb02031.x}}@article{colquhoun2014investigation, author={Colquhoun, David}, title={{An investigation of the false discovery rate and the misinterpretation of p-values}}, journal={Royal Society Open Science}, year={2014}, volume={1}, number={3}, eid={140216}, doi={10.1098/rsos.140216}}@article{ioannidis2005why, author={Ioannidis, John P. A.}, title={{Why most published research findings are false}}, journal={PLoS Medicine}, year={2005}, volume={2}, number={8}, eid={e124}, doi={10.1371/journal.pmed.0020124}}@article{rubin2021when, author={Rubin, Mark}, title={{When to adjust alpha during multiple testing: A consideration of disjunction, conjunction, and individual testing}}, journal={Synthese}, year={2021}, volume={199}, number={3–4}, pages={10969--11000}, doi={10.1007/s11229-021-03276-4}}@article{simmons2011false, author={Simmons, Joseph P. and Nelson, Leif D. and Simonsohn, Uri}, title={{False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant}}, journal={Psychological Science}, year={2011}, volume={22}, number={11}, pages={1359--1366}, doi={10.1177/0956797611417632}}