Kalkulator poprawek na wielokrotne porównania – Bonferroni, Holm, Hochberg, Benjamini–Hochberg

Autor: Konrad Hryniewicz · Opublikowano: 2 listopada 2026

Kalkulator skorygowanych wartości p

Jak używać kalkulatora

Kalkulator przyda się, gdy masz już wartości p z kilku testów i chcesz je skorygować tak jak funkcja p.adjust() w R. Tak bywa przy odpowiedzi na recenzję, przy sprawdzaniu cudzej tabeli i przy wynikach z programu, który nie liczy wszystkich poprawek. Kiedy w ogóle korygować i którą metodę wybrać, omawiamy w poradnikach czy stosować poprawkę i poprawki na wielokrotne porównania. Tutaj zajmujemy się tym, jak liczby powstają i jak je wpisać.

1. Wklej wartości p z jednej rodziny testów. Rodzina to testy, z których wyciągasz jeden wniosek (więcej w haśle problem wielokrotnych porównań). Wpisuj dokładne p z wydruku, np. 0.000021, a nie „< .001”. Zapis ze znakiem „<” kalkulator przyjmie, ale zastąpi go górną granicą i oznaczy wynik jako przybliżony.
2. Ustal α. To poziom istotności dla całej rodziny. Przy metodach FWER oznacza dopuszczalne ryzyko co najmniej jednego błędu I rodzaju, a przy metodach FDR – dopuszczalny oczekiwany odsetek fałszywych odkryć.
3. Liczba testów m. Zostaw puste pole, jeśli wkleiłeś(-aś) wszystkie p z rodziny. Wpisz większą liczbę, gdy znasz tylko część wyników, np. artykuł podaje 15 z 20 wykonanych testów. Brakujące p kalkulator traktuje jak równe 1, czyli najostrożniej. Tak samo działa argument n funkcji p.adjust().
4. Odczytaj tabelę. Dla każdego testu zobaczysz rangę, p przed korektą i sześć skorygowanych p. Pogrubienie oznacza odrzuconą hipotezę zerową (skorygowane p ≤ α). Ostatni wiersz podaje liczbę odrzuconych hipotez. Przycisk „Kopiuj tabelę” kopiuje wyniki z pełną precyzją, z kropką dziesiętną, w kolumnach rozdzielonych tabulatorem.

Metoda wybrana w polu „Metoda do opisu wyniku” trafia do gotowego zdania pod wykresem. Wybierz ją przed obejrzeniem tabeli, najlepiej już w planie analizy. Szukanie poprawki, która „daje istotność”, to odmiana p-hackingu.

Wzory

Kalkulator nie porównuje p z kolejnymi progami, tylko liczy skorygowane wartości p (ang. adjusted p-values). Wright (1992) zaproponował raportowanie wyników testów jednoczesnych właśnie w tej postaci. Hipotezę odrzucasz, gdy jej skorygowane p nie przekracza α, a decyzja jest taka sama jak w procedurze z progami. Niech p₍₁₎ ≤ p₍₂₎ ≤ … ≤ p_(m) oznaczają wartości posortowane rosnąco, a p̃ – wartości skorygowane.

Holm (1979) i Hochberg (1988) używają tych samych mnożników m, m − 1, …, 1. Różni je kierunek. Procedura Holma idzie od najmniejszego p w dół listy i zatrzymuje się na pierwszej hipotezie, której nie może odrzucić. Dlatego w jej wzorze jest maksimum narastające. Procedura Hochberga idzie od największego p w górę i odrzuca wszystko, co leży poniżej pierwszego p mieszczącego się pod progiem. Dlatego w jej wzorze jest minimum liczone od końca. Obie operacje pilnują, żeby mniejsze p nigdy nie dostało większej wartości skorygowanej niż większe p.

Procedura Benjaminiego i Hochberga (1995) kontroluje FDR, czyli oczekiwany odsetek fałszywych odkryć wśród odrzuconych hipotez. Benjamini i Yekutieli (2001) pokazali, że kontroluje go także przy dodatniej zależności testów. Dla dowolnej zależności podali wersję zachowawczą, w której progi dzieli się przez c(m). Przy 15 testach c(15) = 3.318, więc każde skorygowane p rośnie ponad trzykrotnie.

Hommel nie ma prostego wzoru zamkniętego. Simes (1986) zaproponował test hipotezy łącznej dla k hipotez: p_Simes = min_r k · p_(r) / r. Hommel (1988) zbudował na nim zamkniętą procedurę testową, która pozwala wnioskować o pojedynczych hipotezach. Skorygowane p dla hipotezy H_i to największe p Simesa spośród wszystkich podzbiorów hipotez, które zawierają H_i:

Podzbiorów jest 2^{m − 1}, ale nie trzeba ich przeglądać. Test Simesa daje tym większe p, im większe są wartości w podzbiorze. Dla każdej liczności k wystarczy więc sprawdzić podzbiór złożony z H_i i k − 1 hipotez o największych p. Kalkulator liczy to algorytmem opisanym przez Wrighta (1992), w czasie proporcjonalnym do m². Wyniki zgadzają się z p.adjust(p, "hommel") do 12. miejsca po kropce.

Remisy, zera i jedynki. Równe p dostają we wszystkich metodach równe wartości skorygowane, niezależnie od kolejności na liście. Wartość p = 0 pozostaje zerem, bo zero razy dowolny mnożnik daje zero. Zwykle to jednak zaokrąglenie z programu, a nie prawdziwe zero. Wartość p = 1 po korekcie zostaje równa 1. Wszystkie wyniki są obcinane do 1, bo prawdopodobieństwo nie może być większe. Stąd w tabelach wiele jedynek: oznaczają one tylko, że iloczyn przekroczył 1.

Przykład liczbowy

Zespół bada 150 dorosłych i sprawdza, czy aktywność fizyczna koreluje z 15 wskaźnikami snu, nastroju i samopoczucia. Dane są symulowane, więc znamy prawdę: w populacji związek mają tylko jakość snu, nastrój, energia, satysfakcja z życia, lęk i stres. Pozostałe dziewięć korelacji wynosi zero. Wartości p z testów korelacji Pearsona podano z dwiema cyframi znaczącymi, tak jak w typowej tabeli artykułu. Te same wartości są domyślnie wpisane w kalkulator.

Bez korekty istotnych jest pięć korelacji. Bonferroni i Benjamini–Yekutieli zostawiają tylko jakość snu. Holm i Hochberg dodają nastrój, Hommel – także satysfakcję z życia, a Benjamini–Hochberg odrzuca pięć hipotez. Na wykresie w kalkulatorze widać, skąd te różnice. Trzecie p (.0041) leży już nad progiem Holma α/13 = .0038, więc procedura Holma się zatrzymuje. Procedura Hochberga idzie od góry i pierwszą wartość pod progiem znajduje dopiero na drugiej pozycji, więc odrzuca tyle samo hipotez. Linia BH rośnie szybciej. Piąte p (.016) mieści się jeszcze pod progiem 5 × .05 / 15 = .0167, więc BH odrzuca pięć hipotez.

Wśród pięciu odkryć BH jest jedno fałszywe: senność w ciągu dnia (r = −.22), której związek z aktywnością w populacji wynosi zero. To 20% odkryć w tym jednym badaniu. FDR = 5% to wartość oczekiwana w wielu powtórzeniach, a nie gwarancja dla pojedynczego zbioru danych. Symulację wielu powtórzeń, która to pokazuje, znajdziesz w poradniku o poprawkach na wielokrotne porównania.

set.seed(2371)
n <- 150                                         # dorośli w badaniu przekrojowym
wskazniki <- c("Jakość snu", "Nastrój", "Energia", "Satysfakcja z życia", "Lęk", "Stres",
               "Koncentracja", "Samoocena", "Drażliwość", "Samotność", "Senność w ciągu dnia",
               "Objawy depresji", "Zmęczenie", "Napięcie mięśni", "Bóle głowy")
rho <- c(.35, .30, .25, .22, .20, .18, rep(0, 9))  # w populacji związek ma tylko 6 pierwszych
ruch <- rnorm(n)                                 # aktywność fizyczna (wynik standaryzowany)
X <- sapply(rho, function(r) r * ruch + sqrt(1 - r^2) * rnorm(n))
colnames(X) <- wskazniki

# 15 testów korelacji Pearsona, p podane z dwiema cyframi znaczącymi (jak w tabeli artykułu)
p <- signif(apply(X, 2, function(x) cor.test(ruch, x)$p.value), 2)
round(apply(X, 2, function(x) cor(ruch, x)), 2)
p

# Sześć poprawek z p.adjust()
metody <- c("bonferroni", "holm", "hochberg", "hommel", "BH", "BY")
skor <- sapply(metody, function(m) p.adjust(p, method = m))
round(cbind(p, skor), 4)
colSums(skor <= .05)                             # liczba odrzuconych H0 przy alfa = .05
sum(p <= .05)                                    # bez korekty

# Progi dla posortowanych p: Holm alfa/(m - i + 1), BH i * alfa / m
m <- length(p); i <- 1:m
round(data.frame(p = sort(p), holm = .05 / (m - i + 1), bh = i * .05 / m), 4)[1:7, ]
sum(1 / (1:m))                                   # stała c(m) w poprawce Benjaminiego–Yekutieliego

# Rodzina 20 testów, z których w tabeli pokazano tylko te 15 (argument n)
colSums(sapply(metody, function(m) p.adjust(p, method = m, n = 20)) <= .05)

          Jakość snu              Nastrój              Energia 
                0.34                 0.24                 0.13 
 Satysfakcja z życia                  Lęk                Stres 
                0.23                 0.09                 0.15 
        Koncentracja            Samoocena           Drażliwość 
                0.20                 0.10                -0.10 
           Samotność Senność w ciągu dnia      Objawy depresji 
                0.02                -0.22                -0.09 
           Zmęczenie      Napięcie mięśni           Bóle głowy 
               -0.11                -0.05                -0.03 
          Jakość snu              Nastrój              Energia 
             2.1e-05              3.4e-03              1.2e-01 
 Satysfakcja z życia                  Lęk                Stres 
             4.1e-03              2.9e-01              6.7e-02 
        Koncentracja            Samoocena           Drażliwość 
             1.6e-02              2.5e-01              2.5e-01 
           Samotność Senność w ciągu dnia      Objawy depresji 
             8.0e-01              5.8e-03              2.8e-01 
           Zmęczenie      Napięcie mięśni           Bóle głowy 
             1.9e-01              5.2e-01              7.2e-01 
                          p bonferroni   holm hochberg hommel     BH     BY
Jakość snu           0.0000     0.0003 0.0003   0.0003 0.0003 0.0003 0.0010
Nastrój              0.0034     0.0510 0.0476   0.0476 0.0408 0.0205 0.0680
Energia              0.1200     1.0000 1.0000   0.8000 0.6000 0.2571 0.8533
Satysfakcja z życia  0.0041     0.0615 0.0533   0.0533 0.0492 0.0205 0.0680
Lęk                  0.2900     1.0000 1.0000   0.8000 0.8000 0.3625 1.0000
Stres                0.0670     1.0000 0.6700   0.6700 0.4690 0.1675 0.5558
Koncentracja         0.0160     0.2400 0.1760   0.1760 0.1760 0.0480 0.1593
Samoocena            0.2500     1.0000 1.0000   0.8000 0.8000 0.3625 1.0000
Drażliwość           0.2500     1.0000 1.0000   0.8000 0.8000 0.3625 1.0000
Samotność            0.8000     1.0000 1.0000   0.8000 0.8000 0.8000 1.0000
Senność w ciągu dnia 0.0058     0.0870 0.0696   0.0696 0.0696 0.0217 0.0722
Objawy depresji      0.2800     1.0000 1.0000   0.8000 0.8000 0.3625 1.0000
Zmęczenie            0.1900     1.0000 1.0000   0.8000 0.7600 0.3562 1.0000
Napięcie mięśni      0.5200     1.0000 1.0000   0.8000 0.8000 0.6000 1.0000
Bóle głowy           0.7200     1.0000 1.0000   0.8000 0.8000 0.7714 1.0000
bonferroni       holm   hochberg     hommel         BH         BY 
         1          2          2          3          5          1 
[1] 5
                          p   holm     bh
Jakość snu           0.0000 0.0033 0.0033
Nastrój              0.0034 0.0036 0.0067
Satysfakcja z życia  0.0041 0.0038 0.0100
Senność w ciągu dnia 0.0058 0.0042 0.0133
Koncentracja         0.0160 0.0045 0.0167
Stres                0.0670 0.0050 0.0200
Energia              0.1200 0.0056 0.0233
[1] 3.318229
bonferroni       holm   hochberg     hommel         BH         BY 
         1          1          1          1          4          1 

Jak interpretować wynik

• Skorygowane p to nie jest prawdopodobieństwo hipotezy. Skorygowane p równe .048 nie znaczy, że H₀ jest prawdziwa z prawdopodobieństwem 4.8%. Oznacza najmniejszy poziom α dla całej rodziny, przy którym dana procedura odrzuciłaby tę hipotezę (Wright, 1992). Przy metodach FWER chodzi o ryzyko choćby jednego fałszywego alarmu w rodzinie. Przy BH i BY – o oczekiwany odsetek fałszywych odkryć.
• Hommel odrzucił więcej niż Hochberg. Hochberg (1988) pokazał, że jego procedura jest mocniejsza od procedury Holma. Hommel opiera się na teście Simesa (1986) dla każdego podzbioru hipotez, więc korzysta z informacji o kilku małych p naraz. W przykładzie trzy p poniżej .005 wspólnie przemawiają przeciw hipotezie zerowej dla satysfakcji z życia, choć żadna z prostszych procedur FWER tego nie wykazała. Nie wybieraj jednak Hommela po obejrzeniu tabeli tylko dlatego, że daje więcej istotnych wyników.
• Wynik „1” nie znaczy „zupełnie nieistotny”. To tylko obcięcie iloczynu do 1. Dla dalszego opisu ważniejsze są p przed korektą i wielkości efektów, np. r z przedziałem ufności. Same skorygowane p nie mówią, jak silny jest związek.
• BY płaci za ogólność. Wersja Benjaminiego–Yekutieliego działa przy dowolnej zależności testów. Przy 15 testach jej progi są jednak 3.3 raza ostrzejsze niż w BH i w przykładzie odrzuciła tyle samo hipotez co Bonferroni. Stosuj ją wtedy, gdy podejrzewasz ujemne zależności między testami.

Liczba testów w rodzinie zmienia wszystko. Gdyby w tym badaniu sprawdzono 20 wskaźników, a w tabeli pokazano tylko 15, przy m = 20 metody FWER odrzuciłyby jedną hipotezę, a BH – cztery (ostatni blok kodu R). Dlatego w metodzie trzeba podać pełną liczbę testów, także tych nieopisanych w wynikach.

Ograniczenia

• Założenia o zależności testów. Bonferroni, Holm i BY działają przy dowolnej zależności. Metodę BH uzasadniono dla testów niezależnych i dodatnio zależnych (Benjamini i Yekutieli, 2001). Według dokumentacji funkcji p.adjust() w R także metody Hochberga i Hommela wymagają testów niezależnych albo dodatnio powiązanych. Przy ujemnie zależnych statystykach wybierz Holma albo BY.
• Kalkulator nie zna struktury korelacji testów. Poprawki korzystają tylko z wartości p. Metody permutacyjne, które uwzględniają korelacje między wynikami, mogą mieć większą moc, ale wymagają surowych danych.
• Porównania po ANOVA. Do wszystkich par grup lepiej użyć testu post hoc z wbudowaną kontrolą błędu, np. testu Tukeya, niż serii testów t poprawianych tutaj. Wybór omawia poradnik testy post hoc – który wybrać.
• Zaokrąglone p. Gdy przepisujesz p z artykułu z dwoma miejscami po kropce, skorygowane wartości mogą się nieco różnić od tych, które dałyby dokładne dane. Wartości zapisane jako „< .001” dają tylko górne granice.
• Jedna rodzina na raz. Jeśli w badaniu masz kilka niezależnych rodzin, np. wyniki pierwszorzędowe i eksploracyjne, koryguj każdą osobno. Bender i Lange (2001) podkreślają, że przy wielu testach trzeba jasno powiedzieć, który wskaźnik błędu kontrolujesz.
• Moc. Każda poprawka zmniejsza moc pojedynczego testu. Jeśli planujesz badanie z wieloma wynikami, uwzględnij skorygowane α już przy doborze liczebności, np. w kalkulatorze liczebności próby.

Kalkulator nie liczy samych wartości p. Jeśli masz tylko statystyki testów, najpierw policz p w kalkulatorze wartości p, a dla korelacji – w kalkulatorze korelacji.

Zapis w pracy (APA)

W części o metodzie podaj, które testy tworzą rodzinę, ile ich jest, jaką metodę zastosowano i co ona kontroluje: FWER albo FDR. W wynikach przy każdym teście podaj p przed korektą i p skorygowane albo wyraźnie zaznacz w tabeli, która kolumna zawiera wartości skorygowane. Wartości p zapisuj bez zera wiodącego, a skorygowane p równe 1 – jako „1” albo „> .999”. Opisy pojedynczych testów pomoże przygotować generator opisu wyników APA.

Jeśli zamiast FWER kontrolujesz FDR, napisz to wprost, np. „wartości p skorygowano metodą Benjaminiego–Hochberga (1995), kontrolując oczekiwany odsetek fałszywych odkryć na poziomie .05”. Gdy recenzent pyta o wybór rodziny testów albo metody korekty w większym projekcie, zajrzyj do oferty analiz dla badaczy. Definicje obu podstawowych procedur znajdziesz w hasłach poprawka Holma, procedura Benjaminiego–Hochberga i korekta Bonferroniego.

Najczęstsze pytania

Jak policzyć skorygowane p metodą Holma krok po kroku?

Posortuj m wartości p rosnąco. Najmniejsze pomnóż przez m, drugie przez m − 1 i tak dalej, aż do największego, które mnożysz przez 1. Potem idź od góry listy i zastępuj każdy wynik większym z dwóch: jego własnym i poprzednim. Na koniec obetnij wartości większe niż 1. W przykładzie na tej stronie drugie p = .0034 razy 14 daje skorygowane p = .048.

Dlaczego po korekcie wiele wartości p jest równych 1?

Bo skorygowane p jest obcinane do 1. Przy 15 testach już p = .067 pomnożone przez 15 daje ponad 1, a prawdopodobieństwo nie może być większe. Jedynka w tabeli nie znaczy, że wynik jest „bardziej nieistotny” niż inne. Znaczy tylko, że iloczyn przekroczył 1. W opisie podawaj ją jako 1 albo > .999 i pamiętaj o wielkości efektu.

Co zrobić, gdy znam tylko część wartości p z rodziny testów?

Wpisz w polu „Liczba testów w rodzinie” pełną liczbę m, np. 20, choć wkleisz tylko 15 wartości. Brakujące p kalkulator potraktuje jak równe 1, tak jak argument n funkcji p.adjust() w R. Skorygowane wartości są wtedy górnymi granicami. W przykładzie przy m = 20 procedura Benjaminiego–Hochberga odrzuca 4 hipotezy zamiast 5.

Czy równe wartości p mogą dostać różne skorygowane p?

Nie. Wszystkie sześć metod daje równym p równe wartości skorygowane, niezależnie od kolejności na liście. Mnożniki przy kolejnych rangach są różne, ale maksimum (Holm) albo minimum liczone od końca (Hochberg, BH, BY) wyrównuje remisy. Kalkulator sprawdzono z p.adjust() na listach z wieloma remisami.

Jak oznaczyć w tabeli APA, że wartości p są skorygowane?

Dodaj osobną kolumnę z nagłówkiem, np. „p (Holm)” albo „p_skor”, obok kolumny z p przed korektą. W uwadze pod tabelą napisz, ile testów tworzyło rodzinę, jaką metodą korygowano i czy kontrolowano FWER, czy FDR. Wright (1992) zalecał raportowanie właśnie skorygowanych wartości p, bo czytelnik może je porównać z dowolnym α.

Powiązane hasła

Przeczytaj też

@article{bender2001adjusting, author={Bender, Ralf and Lange, Stefan}, title={{Adjusting for multiple testing—When and how?}}, journal={Journal of Clinical Epidemiology}, year={2001}, volume={54}, number={4}, pages={343--349}, doi={10.1016/s0895-4356(00)00314-0}}

@article{benjamini1995controlling, author={Benjamini, Yoav and Hochberg, Yosef}, title={{Controlling the false discovery rate: A practical and powerful approach to multiple testing}}, journal={Journal of the Royal Statistical Society: Series B (Methodological)}, year={1995}, volume={57}, number={1}, pages={289--300}, doi={10.1111/j.2517-6161.1995.tb02031.x}}

@article{benjamini2001control, author={Benjamini, Yoav and Yekutieli, Daniel}, title={{The control of the false discovery rate in multiple testing under dependency}}, journal={The Annals of Statistics}, year={2001}, volume={29}, number={4}, pages={1165--1188}, doi={10.1214/aos/1013699998}}

@article{hochberg1988sharper, author={Hochberg, Yosef}, title={{A sharper Bonferroni procedure for multiple tests of significance}}, journal={Biometrika}, year={1988}, volume={75}, number={4}, pages={800--802}, doi={10.1093/biomet/75.4.800}}

@article{holm1979simple, author={Holm, Sture}, title={{A simple sequentially rejective multiple test procedure}}, journal={Scandinavian Journal of Statistics}, year={1979}, volume={6}, number={2}, pages={65--70}, url={https://www.jstor.org/stable/4615733}}

@article{hommel1988stagewise, author={Hommel, Gerhard}, title={{A stagewise rejective multiple test procedure based on a modified Bonferroni test}}, journal={Biometrika}, year={1988}, volume={75}, number={2}, pages={383--386}, doi={10.1093/biomet/75.2.383}}

@article{simes1986improved, author={Simes, R. J.}, title={{An improved Bonferroni procedure for multiple tests of significance}}, journal={Biometrika}, year={1986}, volume={73}, number={3}, pages={751--754}, doi={10.1093/biomet/73.3.751}}

@article{wright1992adjusted, author={Wright, S. Paul}, title={{Adjusted P-values for simultaneous inference}}, journal={Biometrics}, year={1992}, volume={48}, number={4}, pages={1005--1013}, doi={10.2307/2532694}}