Słownik metodologiczny · Ludzie statystyki

Carlo Emilio Bonferroni (1892–1960) – kim był i skąd się wzięła korekta Bonferroniego

Carlo Emilio Bonferroni był włoskim matematykiem, od którego nazwiska pochodzi najpopularniejsza korekta na wielokrotne porównania. Przedstawiamy, co o nim wiadomo, czym są nierówności Boole'a–Bonferroniego, jak trafiły do analizy wariancji dzięki Olive Jean Dunn i jak działają przy skorelowanych testach – z obliczeniami w R.

Strona główna / Słownik / Carlo Emilio Bonferroni
W skrócie: Carlo Emilio Bonferroni (1892–1960) – włoski matematyk i statystyk, wykładowca statystyki w Bari. Jego nazwisko noszą nierówności Boole'a–Bonferroniego, ograniczające prawdopodobieństwo zajścia co najmniej jednego z wielu zdarzeń; do porównań wielokrotnych zastosowała je w 1961 r. Olive Jean Dunn i stąd pochodzi korekta Bonferroniego.

Kim był Carlo Emilio Bonferroni?

Carlo Emilio Bonferroni (1892–1960) był włoskim matematykiem i statystykiem, którego nazwisko zna dziś prawie każdy, kto robił testy post hoc. Urodził się 28 stycznia 1892 r., zmarł 18 sierpnia 1960 r. (Dewey i Seneta, 2001). W roku akademickim 1932/1933 jako profesor wykładał statystykę w Regio Istituto Superiore di Scienze Economiche w Bari. Z tych wykładów powstał litografowany podręcznik Elementi di statistica generale, wydany w Turynie w 1933 r. (Bonferroni, 1933).

Poza tym jego życiorys jest słabo opisany w źródłach dostępnych poza Włochami. Podajemy tylko fakty, które potwierdziliśmy w cytowanych pracach. Szczegóły kariery – uczelnie, stanowiska, prace aktuarialne – pomijamy, bo nie udało się ich sprawdzić w dostępnym tekście źródłowym.

Najważniejsze pomysły

  • Nierówności Boole'a–Bonferroniego. Pozwalają oszacować z dołu i z góry prawdopodobieństwo, że zajdzie co najmniej jedno z wielu zdarzeń. Wystarczy znać sumę prawdopodobieństw pojedynczych zdarzeń (S1), sumę prawdopodobieństw wszystkich par (S2), trójek (S3) itd. – kolejne wyrazy wzoru włączeń i wyłączeń (Prékopa, 1988). Najprostsza z nich mówi, że P(A1 lub … lub Am) ≤ S1. Działa przy dowolnej zależności między zdarzeniami.
  • Od nierówności do korekty. Jeśli zdarzeniem jest fałszywie istotny wynik jednego z m testów i każdy test wykonasz na poziomie α/m, to S1 = m · α/m = α. Ryzyko co najmniej jednego fałszywego alarmu, czyli błędu I rodzaju w rodzinie testów, nie przekroczy więc α. Na tym opiera się korekta Bonferroniego.
  • Dalsze losy. Olive Jean Dunn (1961) zastosowała ten pomysł do przedziałów ufności dla z góry wybranych porównań średnich. Sture Holm (1979) podał procedurę sekwencyjną, która kontroluje ten sam błąd, a odrzuca co najmniej tyle hipotez (poprawka Holma).

Ciekawostka

Bonferroni nie doczekał kariery swojego nazwiska w statystyce stosowanej. Zmarł w sierpniu 1960 r., a kilka miesięcy później, w marcowym numerze Journal of the American Statistical Association z 1961 r., ukazał się artykuł Olive Jean Dunn. Zaproponowała w nim, by z góry wybrać m porównań średnich i każdemu nadać przedział ufności oparty na rozkładzie t. Łączny poziom ufności dla wszystkich m przedziałów ma być przy tym nie mniejszy od założonego. Dunn pokazała, że przy niezbyt dużym m takie przedziały są krótsze niż przedziały Scheffégo i Tukeya (Dunn, 1961).

Dlatego w części podręczników metoda dzielenia α na liczbę testów nazywa się po prostu metodą Dunna – tak opisują ją np. Lee i Lee (2018).

Przykład: 10 skorelowanych testów

Nierówności Bonferroniego najłatwiej zrozumieć na liczbach. Wyobraź sobie 10 testów z przy prawdziwych hipotezach zerowych, np. porównanie dwóch grup na 10 podskalach kwestionariusza. Statystyki testów są ze sobą skorelowane (korelacja ρ jednakowa dla każdej pary), tak jak bywają skorelowane podskale. Prawdopodobieństwo co najmniej jednego wyniku istotnego i sumy S1, S2, S3 liczymy dokładnie (całkowanie numeryczne). Wynik sprawdzamy symulacją 20 000 „badań” (set.seed(1892)). Liczbę testów i wartości ρ dobraliśmy ręcznie.

  • Bez korekty (każdy test na .05), ρ = 0: P(co najmniej jeden) = .401, S1 = .500, a dolna i górna granica drugiego i trzeciego rzędu to .388 i .403 – prawie dokładnie. Symulacja: .400.
  • Bez korekty, ρ = .5: P = .287 (symulacja: .288). S1 nadal wynosi .500, a granice S1 − S2 i S1 − S2 + S3 rozjeżdżają się do .084 i .468.
  • Z korektą (każdy test na .005): FWER wynosi .049 przy ρ = 0, .039 przy ρ = .5 i .017 przy ρ = .9 (symulacja: .048, .038, .017). Gwarancja „najwyżej .05” obowiązuje zawsze, ale przy silnie skorelowanych testach korekta wydaje znacznie mniej, niż na nią przeznaczono.

Na rysunku

Oś czasu od 1890 do 1990 z sześcioma zdarzeniami oznaczonymi kształtami: koło – życie, trójkąt – praca, kwadrat – dalsze losy metody. 1892 urodzony 28 stycznia, 1933 Elementi di statistica generale – wykłady w Bari 1932/33, 1960 zmarł 18 sierpnia, 1961 O. J. Dunn: przedziały dla m kontrastów (metoda Dunna), 1979 S. Holm: procedura sekwencyjna, 1988 A. Prékopa: nierówności Boole'a–Bonferroniego i programowanie liniowe
Rysunek 1. Życie Carla Emilia Bonferroniego i dalsze losy jego nierówności. Daty według Deweya i Seneta (2001), Bonferroniego (1933), Dunn (1961), Holma (1979) i Prékopy (1988). Rysunek: R, pakiet ggplot2.

Co widać. Połowa osi to życie Bonferroniego, połowa – życie jego nazwiska. Zastosowanie, z którego znają go studenci, zaczyna się rok po jego śmierci.

Na co uważać. Oś jest uboga, bo potwierdziliśmy niewiele dat z jego kariery. Brak zdarzeń między 1933 a 1960 r. nie znaczy, że Bonferroni wtedy nie pracował – znaczy tylko, że nie sprawdziliśmy tych dat w źródłach.

Podpis do pracy:

Rysunek 1. Wybrane daty z życia Carla Emilia Bonferroniego (1892–1960) i z historii nierówności noszących jego nazwisko. Uwaga. Opracowano na podstawie Dewey i Seneta (2001), Dunn (1961), Holm (1979) i Prékopa (1988).
Dwa panele z osią poziomą korelacji ρ od 0 do 0.95. Panel A, każdy z 10 testów na poziomie .05: prawdopodobieństwo co najmniej jednego wyniku istotnego (linia ciągła z kółkami) spada od .40 do .10; granica Bonferroniego S1 (linia przerywana z trójkątami) stoi na .50; granica dolna S1 − S2 (kreski z kwadratami) spada od .39 poniżej zera przy ρ ok. 0.6; granica górna S1 − S2 + S3 (kropki z krzyżykami) zaczyna od .40 i rośnie powyżej 1 przy ρ ok. 0.8. Panel B, korekta Bonferroniego, każdy test na .005: rodzinny błąd spada od .049 do ok. .012, S1 stoi na .05, granica dolna spada poniżej zera przy ρ ok. 0.75, granica górna przekracza .08 przy ρ ok. 0.8
Rysunek 2. Prawdopodobieństwo co najmniej jednego wyniku istotnego w rodzinie 10 testów z przy prawdziwych H0 i nierówności Bonferroniego pierwszego, drugiego i trzeciego rzędu, w zależności od korelacji między testami: bez korekty (A) i z korektą Bonferroniego (B). Obliczenia dokładne (całkowanie numeryczne). Rysunek: R, pakiety ggplot2 i patchwork; oś pionowa ucięta do sensownego zakresu.

Co widać. Linia przerywana S1 to granica, na której opiera się korekta: nigdy nie leży pod linią ciągłą, bez względu na korelację. Przy ρ = 0 granice drugiego i trzeciego rzędu prawie dotykają prawdziwej wartości, więc nierówności są tu bardzo dokładne. Im silniej skorelowane testy, tym bardziej prawdziwe ryzyko odsuwa się od S1. W panelu B przy ρ = .9 korekta „obiecuje” .05, a daje .017.

Na co uważać. Rysunek dotyczy jednakowej korelacji między wszystkimi parami testów i testów z o znanej wariancji – to uproszczenie. Granice wyższych rzędów nie zawsze są lepsze: przy dużym ρ wychodzą poza przedział [0, 1] i nic nie mówią. Rysunek pokazuje tylko błąd I rodzaju. Cena korekty to mniejsza moc przy prawdziwych efektach, opisana w haśle o korekcie Bonferroniego.

Podpis do pracy:

Rysunek 2. Prawdopodobieństwo co najmniej jednego błędu I rodzaju w rodzinie 10 skorelowanych testów z i jego ograniczenia według nierówności Bonferroniego (S1; S1 − S2; S1 − S2 + S3) w funkcji korelacji między statystykami testów: (A) każdy test na poziomie .05, (B) każdy test na poziomie .005 (korekta Bonferroniego). Uwaga. Wartości obliczone dokładnie przy jednakowej korelacji wszystkich par testów.

Gdzie spotkasz Bonferroniego w swojej pracy

Spory, mity i trudne strony

„Bonferroni wymyślił korektę na wielokrotne porównania”. Jego jest nierówność – narzędzie rachunku prawdopodobieństwa, w literaturze łączone też z nazwiskiem George'a Boole'a (Prékopa, 1988). Do porównań średnich zastosowała ją Dunn (1961).

„Korekta Bonferroniego wymaga niezależnych testów”. Nie. Nierówność S1 działa przy każdej zależności. Przy niezależności korzysta się z dokładniejszego wzoru (poprawka Šidáka). Przy dodatniej korelacji testów korekta jest za to bardziej zachowawcza, niż trzeba – zwracają na to uwagę Lee i Lee (2018), a widać to na rysunku 2.

„Korekta to zawsze bezpieczny wybór”. Chroni przed fałszywymi alarmami, ale obniża moc. Lee i Lee (2018) odradzają ją, gdy ważniejsze jest, by nie przeoczyć prawdziwego efektu. Procedura Holma (1979) kontroluje ten sam błąd, a jej pierwszy krok to zwykły próg α/m – odrzuca więc zawsze co najmniej te same hipotezy co Bonferroni.

Przykład reprodukowalny

Nierówności Bonferroniego w R

Kod rysuje oś czasu, liczy dokładnie prawdopodobieństwo co najmniej jednego wyniku istotnego w rodzinie 10 skorelowanych testów i sumy S1–S3, a potem sprawdza wynik symulacją. Rysunki na stronie powstały z tych samych obiektów p_os i p_metoda z krojem i tłem serwisu; dane, geometrie i skale są identyczne.

Oś czasu i nierówności Bonferroniego dla skorelowanych testów

Dane wejściowe: brak danych empirycznych – model 10 testów z o jednakowej korelacji ρ (siatka 0–0.95 co 0.05) i symulacja 20 000 „badań” dla ρ = 0, .5 i .9 (set.seed(1892)); daty osi czasu z cytowanych źródeł. Liczbę testów i wartości ρ ustaliliśmy ręcznie.

Co odczytać: P_co_najmniej_jeden – prawdziwe ryzyko; S1, S1_minus_S2, S1_minus_S2_plus_S3 – granice Bonferroniego; w ostatniej tabeli – odsetki z symulacji bez korekty i z korektą.

Kod R rysunków 1 i 2
# Carlo Emilio Bonferroni: oś czasu i nierówności Bonferroniego dla 10 skorelowanych testów
suppressPackageStartupMessages({library(ggplot2); library(patchwork)})
oi <- c(niebieski = "#0072B2", pomaranczowy = "#E69F00", cynober = "#D55E00", zielony = "#009E73", szary = "grey45")  # Okabe–Ito
motyw <- theme_minimal(base_size = 13) + theme(panel.grid.minor = element_blank(), plot.title = element_text(face = "bold"))

# 1. Oś czasu: życie, wykłady w Bari i późniejsze losy jego nierówności (daty z cytowanych w haśle źródeł)
zdarzenia <- data.frame(
  rok = c(1892, 1933, 1960, 1961, 1979, 1988),
  opis = c("urodzony\n28 stycznia", "„Elementi di statistica\ngenerale” – wykłady\nw Bari 1932/33", "zmarł\n18 sierpnia",
           "O. J. Dunn: przedziały\ndla m kontrastów\n(„metoda Dunna”)", "S. Holm: procedura\nsekwencyjna", "A. Prékopa: nierówności\nBoole'a–Bonferroniego\ni programowanie liniowe"),
  rodzaj = c("życie", "praca", "życie", "dalsze losy metody", "dalsze losy metody", "dalsze losy metody"))
zdarzenia$y <- c(1.2, -1.4, 1.2, -1.4, 1.2, -1.4)   # wysokość etykiet, żeby się nie nakładały
p_os <- ggplot(zdarzenia, aes(rok, 0)) +
  geom_hline(yintercept = 0, colour = "grey60") +
  geom_segment(aes(xend = rok, yend = y * 0.8), colour = "grey70") +
  geom_point(aes(shape = rodzaj, fill = rodzaj), size = 3.5) +
  geom_label(aes(y = y, label = paste0(rok, "\n", opis)), size = 3.2, lineheight = 0.9, linewidth = 0.2) +
  scale_shape_manual(values = c("życie" = 21, "praca" = 24, "dalsze losy metody" = 22), name = NULL) +
  scale_fill_manual(values = c("życie" = oi[["szary"]], "praca" = oi[["cynober"]], "dalsze losy metody" = oi[["niebieski"]]), name = NULL) +
  scale_x_continuous(breaks = seq(1890, 1990, 10), limits = c(1880, 2000)) + scale_y_continuous(limits = c(-2.4, 2.2)) +
  labs(title = "Carlo Emilio Bonferroni (1892–1960) i jego nierówności", x = NULL, y = NULL) +
  motyw + theme(axis.text.y = element_blank(), panel.grid.major.y = element_blank(), legend.position = "bottom")

# 2. Nierówności Bonferroniego: S1 − S2 ≤ P(co najmniej jedno zdarzenie) ≤ S1, a także ≤ S1 − S2 + S3,
#    gdzie Sk = suma prawdopodobieństw wszystkich k-krotnych iloczynów zdarzeń.
#    Zdarzenie Ai: test i (dwustronny test z) daje wynik istotny, choć H0 jest prawdziwa; m testów o równej korelacji rho.
#    Przy wspólnym czynniku W: Zi = sqrt(rho)·W + sqrt(1 − rho)·Ei, więc P(A1 ∩ … ∩ Ak) = E[q(W)^k] – liczymy całkę numerycznie.
m <- 10
q_w <- function(w, kryt, rho) {              # P(|Zi| > kryt | W = w)
  s <- sqrt(1 - rho); 1 - (pnorm((kryt - sqrt(rho) * w) / s) - pnorm((-kryt - sqrt(rho) * w) / s))
}
calka <- function(f) integrate(function(w) dnorm(w) * f(w), -Inf, Inf, rel.tol = 1e-10)$value
nierownosci <- function(alfa_testu, rho) {
  kryt <- qnorm(1 - alfa_testu / 2)
  S <- sapply(1:3, function(k) choose(m, k) * calka(function(w) q_w(w, kryt, rho)^k))
  c(rho = rho, P_co_najmniej_jeden = 1 - calka(function(w) (1 - q_w(w, kryt, rho))^m),
    S1 = S[1], S1_minus_S2 = S[1] - S[2], S1_minus_S2_plus_S3 = S[1] - S[2] + S[3])
}
siatka <- seq(0, 0.95, by = 0.05)
bez_korekty <- as.data.frame(t(sapply(siatka, function(r) nierownosci(0.05, r))))       # każdy test na poziomie .05
z_korekta   <- as.data.frame(t(sapply(siatka, function(r) nierownosci(0.05 / m, r))))   # korekta Bonferroniego: .05/10
round(bez_korekty[bez_korekty$rho %in% c(0, 0.5, 0.9), ], 4)
round(z_korekta[z_korekta$rho %in% c(0, 0.5, 0.9), ], 4)

# Sprawdzenie symulacją: 20 000 „badań” po 10 testów z przy prawdziwych H0
set.seed(1892)
symuluj <- function(rho, B = 20000) {
  W <- rnorm(B); E <- matrix(rnorm(B * m), B, m)
  Z <- sqrt(rho) * W + sqrt(1 - rho) * E
  c(rho = rho, bez_korekty = mean(apply(abs(Z) > qnorm(0.975), 1, any)),
    Bonferroni = mean(apply(abs(Z) > qnorm(1 - 0.05 / (2 * m)), 1, any)))
}
round(t(sapply(c(0, 0.5, 0.9), symuluj)), 4)

dlugi <- function(d) data.frame(rho = rep(d$rho, 4),
  wartosc = c(d$P_co_najmniej_jeden, d$S1, d$S1_minus_S2, d$S1_minus_S2_plus_S3),
  co = factor(rep(c("P(co najmniej jeden wynik istotny)", "S1 (granica Bonferroniego)", "S1 − S2 (granica dolna)", "S1 − S2 + S3 (granica górna)"),
                  each = nrow(d)), levels = c("P(co najmniej jeden wynik istotny)", "S1 (granica Bonferroniego)",
                                              "S1 − S2 (granica dolna)", "S1 − S2 + S3 (granica górna)")))
panel <- function(d, tytul, zakres) {
  ggplot(dlugi(d), aes(rho, wartosc, colour = co, linetype = co, shape = co)) +
    geom_line(linewidth = 0.9) + geom_point(data = subset(dlugi(d), round(rho * 100) %% 15 == 0), size = 2.2) +
    coord_cartesian(ylim = zakres) +      # granice poniżej 0 i powyżej 1 nic nie mówią – ucinamy oś
    scale_colour_manual(values = c(oi[["cynober"]], oi[["niebieski"]], oi[["zielony"]], oi[["pomaranczowy"]]), name = NULL) +
    scale_linetype_manual(values = c("solid", "22", "42", "13"), name = NULL) +
    scale_shape_manual(values = c(16, 17, 15, 4), name = NULL) +
    labs(title = tytul, x = "Korelacja między statystykami testów (ρ)", y = "Prawdopodobieństwo") + motyw
}
p_metoda <- (panel(bez_korekty, "A. Każdy z 10 testów na poziomie .05", c(0, 1)) +
             panel(z_korekta, "B. Korekta Bonferroniego: każdy na .005", c(0, 0.08))) +
  plot_layout(guides = "collect") & theme(legend.position = "bottom") &
  guides(colour = guide_legend(ncol = 2), linetype = guide_legend(ncol = 2), shape = guide_legend(ncol = 2))
p_os
p_metoda
Wynik w R
   rho P_co_najmniej_jeden  S1 S1_minus_S2 S1_minus_S2_plus_S3
1  0.0              0.4013 0.5      0.3875              0.4025
11 0.5              0.2869 0.5      0.0836              0.4681
19 0.9              0.1276 0.5     -0.8341              1.8763
   rho P_co_najmniej_jeden   S1 S1_minus_S2 S1_minus_S2_plus_S3
1  0.0              0.0489 0.05      0.0489              0.0489
11 0.5              0.0388 0.05      0.0328              0.0424
19 0.9              0.0165 0.05     -0.0574              0.1393
     rho bez_korekty Bonferroni
[1,] 0.0      0.3995     0.0476
[2,] 0.5      0.2876     0.0376
[3,] 0.9      0.1263     0.0169

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (całkowanie numeryczne i symulacja – funkcje bazowe integrate(), pnorm(), rnorm(); rysunki – pakiety ggplot2 i patchwork). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork

Najczęstsze pytania

Kim był Carlo Emilio Bonferroni?

Włoskim matematykiem i statystykiem (1892–1960). W roku akademickim 1932/1933 wykładał statystykę w Bari, skąd pochodzi jego podręcznik Elementi di statistica generale (1933). Jego nazwisko noszą nierówności rachunku prawdopodobieństwa, na których opiera się korekta Bonferroniego.

Dlaczego korekta na wielokrotne porównania nosi nazwisko Bonferroniego?

Bo opiera się na jego nierówności: prawdopodobieństwo, że zajdzie co najmniej jedno z m zdarzeń, nie przekracza sumy ich prawdopodobieństw. Do porównań średnich zastosowała ją Olive Jean Dunn w 1961 r., dlatego część podręczników mówi o metodzie Dunna.

Czy korekta Bonferroniego wymaga niezależnych testów?

Nie. Nierówność Bonferroniego działa przy dowolnej zależności między testami, więc gwarancja FWER ≤ α obowiązuje zawsze. Przy dodatnio skorelowanych testach korekta jest jednak zachowawcza: dla 10 testów o korelacji .9 prawdziwe ryzyko wynosi .017 zamiast .05.

Czym są nierówności Bonferroniego wyższych rzędów?

To kolejne przybliżenia prawdopodobieństwa co najmniej jednego zdarzenia: S1 − S2 ograniczenie od dołu, S1 − S2 + S3 od góry, gdzie S2 i S3 to sumy prawdopodobieństw par i trójek zdarzeń. Przy słabo skorelowanych testach są bardzo dokładne, przy silnie skorelowanych przestają być informatywne.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Bonferroni, C. E. (1933). Elementi di statistica generale (ristampa con aggiunte). Gili.
  2. Dewey, M. E., & Seneta, E. (2001). Carlo Emilio Bonferroni. In C. C. Heyde & E. Seneta (Eds.), Statisticians of the centuries (pp. 411–414). Springer. https://doi.org/10.1007/978-1-4613-0179-0_88
  3. Dunn, O. J. (1961). Multiple comparisons among means. Journal of the American Statistical Association, 56(293), 52–64. https://doi.org/10.1080/01621459.1961.10482090
  4. Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70. https://www.jstor.org/stable/4615733
  5. Lee, S., & Lee, D. K. (2018). What is the proper way to apply the multiple comparison test? Korean Journal of Anesthesiology, 71(5), 353–360. https://doi.org/10.4097/kja.d.18.00242 ● Otwarty dostęp
  6. Prékopa, A. (1988). Boole-Bonferroni inequalities and linear programming. Operations Research, 36(1), 145–162. https://doi.org/10.1287/opre.36.1.145

Cytowania BibTeX

@book{bonferroni1933elementi, author={Bonferroni, Carlo Emilio}, title={{Elementi di statistica generale (ristampa con aggiunte)}}, year={1933}, publisher={Gili}, url={https://openlibrary.org/books/OL52990333M}}
@incollection{dewey2001carlo, author={Dewey, M. E. and Seneta, E.}, title={{Carlo Emilio Bonferroni}}, booktitle={Statisticians of the centuries}, year={2001}, pages={411--414}, publisher={Springer}, doi={10.1007/978-1-4613-0179-0_88}}
@article{dunn1961multiple, author={Dunn, Olive Jean}, title={{Multiple comparisons among means}}, journal={Journal of the American Statistical Association}, year={1961}, volume={56}, number={293}, pages={52--64}, doi={10.1080/01621459.1961.10482090}}
@article{holm1979simple, author={Holm, Sture}, title={{A simple sequentially rejective multiple test procedure}}, journal={Scandinavian Journal of Statistics}, year={1979}, volume={6}, number={2}, pages={65--70}, url={https://www.jstor.org/stable/4615733}}
@article{lee2018what, author={Lee, Sangseok and Lee, Dong Kyu}, title={{What is the proper way to apply the multiple comparison test?}}, journal={Korean Journal of Anesthesiology}, year={2018}, volume={71}, number={5}, pages={353--360}, doi={10.4097/kja.d.18.00242}}
@article{prekopa1988boole, author={Prékopa, András}, title={{Boole-Bonferroni inequalities and linear programming}}, journal={Operations Research}, year={1988}, volume={36}, number={1}, pages={145--162}, doi={10.1287/opre.36.1.145}}
R