Słownik metodologiczny · Dobór próby i moc

Analiza mocy post hoc – dlaczego moc obserwowana nic nie mówi i co podać zamiast niej?

Moc policzona po badaniu z efektu w próbie jest tylko przekształconą wartością p. Pokazujemy to na dwóch badaniach z tym samym p i wyjaśniamy, co podać zamiast niej.

Strona główna / Słownik / Analiza mocy post hoc

Opracowanie merytoryczne: · Opublikowano:

W skrócie: Moc post hoc liczona z efektu uzyskanego w próbie jest prostą funkcją wartości p: przy p = .05 wynosi około .50, a przy wyniku nieistotnym zawsze mniej. Zamiast niej podaj wielkość efektu z przedziałem ufności i analizę wrażliwości.

Co to jest analiza mocy post hoc?

Analiza mocy post hoc (ang. post hoc power analysis, observed power) to obliczenie mocy testu po badaniu przy założeniu, że prawdziwy efekt jest równy efektowi zaobserwowanemu w próbie. W odróżnieniu od analizy mocy a priori nie służy do planowania, tylko do „tłumaczenia” wyniku – zwykle nieistotnego. Hoenig i Heisey (2001) nazywają takie interpretowanie wyniku nieistotnego podejściem z gruntu błędnym.

Dlaczego moc obserwowana nic nie wnosi?

Bo przy danym teście i α jest tylko innym zapisem wartości p. W przybliżeniu normalnym:

moc obserwowana ≈ Φ(|z| − z1 − α/2)

|z| to statystyka odpowiadająca uzyskanemu p, z1 − α/2 = 1.96 przy α = .05, a Φ to dystrybuanta rozkładu normalnego. Przy p = .05 moc obserwowana wynosi więc .50, a przy każdym wyniku nieistotnym – mniej. Yuan i Maxwell (2005) pokazali ponadto, że jest ona prawie zawsze obciążonym estymatorem prawdziwej mocy i nie daje użytecznej informacji, gdy prawdziwa moc jest mała.

Przykład

Dwa badania porównały dwie grupy testem t i oba dały p = .30: badanie A (2 × 20 osób, d = 0.33) i badanie B (2 × 200 osób, d = 0.10). Moc obserwowana wyszła w nich prawie taka sama: .17 i .18. Analiza wrażliwości pokazuje różnicę: A miało 80% mocy dopiero dla d = 0.91, a B – już dla d = 0.28. 95% przedziały ufności dla d wynoszą [−0.29, 0.95] i [−0.09, 0.30], więc tylko badanie B wyklucza efekty średnie i duże.

Jak zapisać w pracy

Zamiast mocy obserwowanej podaj wielkość efektu z przedziałem ufności i wynik analizy wrażliwości:

Różnica między grupami nie była istotna, t(38) = 1.05, p = .300, d = 0.33, 95% CI [−0.29, 0.95]. Przy 20 osobach w grupie i α = .05 badanie miało 80% mocy dla efektu d = 0.91, więc mogło nie wykryć mniejszych efektów.

Na co uważać

  • „Moc była niska, więc wynik nieistotny jest niewiarygodny”. Przy wyniku nieistotnym moc obserwowana zawsze wychodzi niska (poniżej około .50) – to tautologia, a nie diagnoza.
  • Wysoka moc obserwowana jako potwierdzenie. Przy p < .05 zawsze przekracza .50, więc też nic nie dodaje.
  • Moc po badaniu nie jest zła sama w sobie. Problemem jest efekt wzięty z próby. Moc dla efektu ustalonego niezależnie od danych (np. SESOI) i efekt wykrywalny z mocą 80% to uprawnione pytania o czułość badania (Lakens, 2022).

Prośba o moc post hoc to częsta uwaga recenzentów (zob. zarzuty recenzentów do statystyki). Gotową odpowiedź znajdziesz we wzorach odpowiedzi recenzentom, a postępowanie z wynikiem nieistotnym – w poradniku hipoteza się nie potwierdziła.

Przykład reprodukowalny

Przykład w R

Kod odtwarza oba badania z przykładu wprost z rozkładu t, bez symulacji, i zestawia moc obserwowaną z analizą wrażliwości. Liczby z przykładu pochodzą z tego kodu.

Moc obserwowana a analiza wrażliwości

Dane wejściowe: dwa badania z testem t dla dwóch grup (20 i 200 osób w grupie), oba z wynikiem p = .30; α = .05, test dwustronny.

Co odczytać: wiersze t i d – wyniki obu badań; moc_obs – moc obserwowana (prawie taka sama); d_80 – efekt wykrywalny z mocą 80% (zupełnie różny). Ostatnia liczba to moc obserwowana przy p = .05.

R
n <- c(A = 20, B = 200)                                   # osób w każdej grupie
t <- qt(1 - 0.30 / 2, df = 2 * n - 2)                     # statystyka t, która daje p = .30
d <- t * sqrt(2 / n)                                      # zaobserwowane d Cohena
moc_obs <- power.t.test(n = n, delta = d)$power           # „moc post hoc” z efektu w próbie
d_80 <- sapply(n, function(k) power.t.test(n = k, power = 0.80)$delta)   # analiza wrażliwości
round(rbind(t, d, moc_obs, d_80), 2)
power.t.test(n = 20, delta = qt(0.975, 38) * sqrt(2 / 20))$power        # moc obserwowana, gdy p = .05
Wynik w R
           A    B
t       1.05 1.04
d       0.33 0.10
moc_obs 0.17 0.18
d_80    0.91 0.28
[1] 0.5052476

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje qt() i power.t.test() pakietu stats). 95% przedziały ufności dla d z przykładu policzono z niecentralnego rozkładu t (odwrócenie funkcji pt()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/

Najczęstsze pytania

Czy niska moc post hoc unieważnia wynik nieistotny?

Nie. Przy wyniku nieistotnym moc obserwowana zawsze wychodzi niska (poniżej około .50), więc niczego nie przesądza. O czułości badania powie analiza wrażliwości, a o braku efektu – test równoważności.

Ile wynosi moc obserwowana przy p = .05?

Około .50. Przy p = .05 zaobserwowany efekt leży dokładnie na granicy istotności, więc gdyby był prawdziwy, powtórzone badanie dałoby wynik istotny mniej więcej w co drugim przypadku.

Czym analiza wrażliwości różni się od mocy post hoc?

Analiza wrażliwości pyta, jaki najmniejszy efekt badanie wykrywało z założoną mocą, np. 80%, i nie korzysta z wyniku. Moc post hoc wstawia zaobserwowany efekt, więc tylko powtarza informację zawartą w p.

Powiązane hasła

Moc testuAnaliza mocy a priori (G*Power)Analiza wrażliwościNajmniejszy interesujący efekt (SESOI)Błąd I i II rodzajuTest równoważności (TOST)

Poradniki, w których użyjesz tego pojęcia

Poradnik

Hipoteza się nie potwierdziła – co dalej

Jak sprawdzić, co mówi wynik nieistotny: przedział ufności, analiza wrażliwości, test równoważności TOST, czynnik Bayesa i gotowe zdania do wyników.

Czytaj →Poradnik

Odpowiedź recenzentom – wzory PL i EN

Zasady i struktura odpowiedzi oraz wzory PL/EN na 12 sytuacji: moc post hoc, korekta porównań, model mieszany, braki danych, CMV i przyznanie się do błędu.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Hoenig, J. M., & Heisey, D. M. (2001). The abuse of power: The pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19–24. https://doi.org/10.1198/000313001300339897
  2. Lakens, D. (2022). Sample size justification. Collabra: Psychology, 8(1), Article 33267. https://doi.org/10.1525/collabra.33267 ● Otwarty dostęp
  3. Yuan, K.-H., & Maxwell, S. (2005). On the post hoc power in testing mean differences. Journal of Educational and Behavioral Statistics, 30(2), 141–167. https://doi.org/10.3102/10769986030002141

Cytowania BibTeX

@article{hoenig2001abuse, author={Hoenig, John M. and Heisey, Dennis M.}, title={{The abuse of power: The pervasive fallacy of power calculations for data analysis}}, journal={The American Statistician}, year={2001}, volume={55}, number={1}, pages={19--24}, doi={10.1198/000313001300339897}}
@article{lakens2022sample, author={Lakens, Daniël}, title={{Sample size justification}}, journal={Collabra: Psychology}, year={2022}, volume={8}, number={1}, eid={33267}, doi={10.1525/collabra.33267}}
@article{yuan2005post, author={Yuan, Ke-Hai and Maxwell, Scott}, title={{On the post hoc power in testing mean differences}}, journal={Journal of Educational and Behavioral Statistics}, year={2005}, volume={30}, number={2}, pages={141--167}, doi={10.3102/10769986030002141}}
R