Statystyka · Przewodnik

Testy statystyczne – przewodnik po wyborze: od hipotezy do opisu wyniku

Osiem etapów wyboru testu – od hipotezy, przez rodzaj zmiennej i układ badania, po poprawki na wiele testów i zapis APA – z linkami do poradników krok po kroku, haseł słownika i kalkulatorów.

Strona główna / Blog / Przewodnik: testy statystyczne
W skrócie: Test wybierasz na podstawie hipotezy, rodzaju zmiennej zależnej (ilościowa, porządkowa, nominalna) i układu badania (różne osoby czy te same, dwie grupy czy więcej), a nie na podstawie wyniku. Dla grup niezależnych domyślnie wybierz test Welcha lub ANOVA Welcha, testy rangowe stosuj z powodu merytorycznego, a nie odruchowo po teście Shapiro–Wilka. Przy wielu testach zastosuj poprawkę, np. Holma, i każdy wynik podawaj z wielkością efektu i 95% przedziałem ufności.

Dla kogo jest ten przewodnik i jak z niego korzystać

Ten przewodnik jest dla osób, które mają już hipotezy, a czasem i dane, ale nie wiedzą, którym testem je sprawdzić. Typowa sytuacja wygląda tak: promotor pyta „dlaczego test t, a nie Manna–Whitneya?”, a w odpowiedzi pada „bo tak wyszło w SPSS”. Taka odpowiedź nie wystarczy ani na seminarium, ani na obronie. Wybór testu jest decyzją metodologiczną. Wynika z hipotezy, z rodzaju zmiennej zależnej i z układu badania, a nie z tego, który test dał mniejsze p.

Nie znajdziesz tu kolejnego wykładu o każdym teście. Przewodnik porządkuje to, co jest już w serwisie: poradniki krok po kroku z przykładami i kodem R, hasła słownika z definicjami i wzorami oraz kalkulatory. Przejdź przez osiem etapów w kolejności, w jakiej podejmujesz decyzje w prawdziwym badaniu. Przy każdym etapie jest krótka instrukcja i lista stron, które warto otworzyć. Jeśli masz konkretny kłopot, zacznij od tabeli „mam problem → przeczytaj”.

Jedna rada na start: zapisz test dla każdej hipotezy, zanim otworzysz dane. Plan analizy ustalony wcześniej chroni przed dobieraniem metody do wyniku. Łatwiej go też obronić, bo każda decyzja ma uzasadnienie niezależne od tego, co wyszło.

Etap 1. Zacznij od hipotezy, nie od programu

Każdy test odpowiada na jedno, wąskie pytanie o populację. Zanim wybierzesz procedurę, przepisz hipotezę badawczą na parę hipotez statystycznych: H0 (brak różnicy albo związku) i H1. Zdecyduj, czy hipoteza jest kierunkowa, i ustal poziom istotności. Te decyzje podejmuje się przed zebraniem danych. Test jednostronny wybrany po obejrzeniu wyników jest po prostu sposobem na zmniejszenie p o połowę.

Etap 2. Opisz zmienną zależną i układ badania

Dwie informacje zawężają wybór najbardziej. Pierwsza to rodzaj zmiennej zależnej: ilościowa (średnie), porządkowa (rangi) albo nominalna (odsetki). Druga to układ badania: czy porównujesz różne osoby, czy te same osoby w kilku pomiarach, i ile grup albo pomiarów masz. Jeśli hipoteza mówi o związku dwóch zmiennych w jednej grupie, nie porównujesz grup – liczysz korelację albo test niezależności. Rysunek 1 zestawia obie osie: znajdź wiersz swojej zmiennej zależnej i kolumnę swojego układu.

Schemat wyboru testu w formie tabeli: wiersze to zmienna zależna ilościowa, porządkowa i nominalna, kolumny to dwie grupy niezależne, dwa pomiary tych samych osób, trzy grupy lub więcej, trzy pomiary lub więcej oraz związek dwóch zmiennych. Dla zmiennej ilościowej: test t Welcha, test t dla prób zależnych, ANOVA Welcha z Gamesem–Howellem, ANOVA z pomiarami powtarzanymi i r Pearsona. Dla porządkowej: test Manna–Whitneya, Wilcoxona, Kruskala–Wallisa z testem Dunna, Friedmana i rho Spearmana lub tau Kendalla. Dla nominalnej: chi-kwadrat lub test Fishera, McNemar, chi-kwadrat dla tabeli r × c, Q Cochrana i chi-kwadrat z V Craméra. Pod tabelą: modele regresji dla kilku predyktorów i model wielopoziomowy dla danych zagnieżdżonych.
Rysunek 1. Wybór testu na przecięciu rodzaju zmiennej zależnej (wiersze) i układu badania (kolumny). Czerwone ramki to testy różnic, niebieskie – miary związku. Schemat podpowiada punkt wyjścia; ostateczną decyzję uzasadnij hipotezą i założeniami (etap 4).

Dwie pułapki zdarzają się tu najczęściej. Pojedyncza pozycja skali Likerta jest porządkowa, ale suma lub średnia kilkunastu pozycji zwykle zachowuje się jak zmienna ilościowa. Z kolei dane zagnieżdżone, np. uczniowie w klasach albo pacjenci na oddziałach, łamią założenie niezależności obserwacji. Wtedy żaden test z tabeli nie wystarczy i potrzebny jest model wielopoziomowy.

  • Skala nominalna – kategorie bez kolejności, liczebności i odsetki zamiast średnich.
  • Skala porządkowa – kiedy średnia wprowadza w błąd i dlaczego opisuje się ją medianą i kwartylami.
  • Skala ilościowa – skala interwałowa i ilorazowa oraz analizy, które wolno na nich wykonać.
  • Zmienna zależna – co mierzysz i jak ją opisać w pracy; od jej rodzaju zależy wiersz w schemacie.
  • Zmienna niezależna – rodzaje zmiennych niezależnych, różnica między manipulacją a pomiarem.
  • Schemat międzyobiektowy i wewnątrzobiektowy – czym różnią się porównania różnych osób i tych samych osób w kilku warunkach.
  • Model wielopoziomowy – regresja dla danych zagnieżdżonych, gdy obserwacje w grupach nie są niezależne.

Etap 3. Zaplanuj liczebność próby i moc testu

Test o zbyt małej mocy nie odróżni braku efektu od zbyt małej próby. Dlatego liczebność planuje się przed badaniem: na podstawie najmniejszego efektu, który ma dla Ciebie znaczenie, poziomu α i pożądanej mocy. Wybór testu i liczebność są ze sobą związane. Test dla prób zależnych potrzebuje zwykle mniej osób niż porównanie dwóch grup, a interakcja w planie czynnikowym – wyraźnie więcej niż efekt główny. Szybkie obliczenie zrobisz w kalkulatorze liczebności (sekcja Kalkulatory). Jeśli liczebność narzucają okoliczności, policz przynajmniej, jaki efekt badanie mogło wykryć, i napisz o tym w ograniczeniach.

Etap 4. Sprawdź założenia, ale nie daj się im sparaliżować

Założenia sprawdzasz po to, żeby wiedzieć, czy wynik testu jest wiarygodny, a nie po to, żeby test Shapiro–Wilka wybrał metodę za Ciebie. Normalność w teście t, ANOVA i regresji dotyczy rozkładu w grupach (reszt), a nie surowej zmiennej w całej próbie. Oceniaj ją przede wszystkim na wykresie Q-Q. Przy dużej próbie test normalności wykrywa odchylenia bez praktycznego znaczenia, a przy małej – przeocza poważne. Klasyczny test F jest przy tym dość odporny: w symulacji Monte Carlo zachował poprawny poziom błędu I rodzaju we wszystkich badanych warunkach nienormalności (Blanca i in., 2017).

Inaczej jest z nierównymi wariancjami, zwłaszcza przy nierównych grupach. Tu najprostsze rozwiązanie to test Welcha jako wybór domyślny. Traci on niewiele, gdy wariancje są równe, a dobrze chroni poziom błędu, gdy nie są (Delacre i in., 2017). Nie uzależniaj wyboru od wstępnego testu Levene’a. Procedura „najpierw Levene, potem Student albo Welch” nie chroni poziomu istotności (Zimmerman, 2004).

Etap 5. Porównaj dwie grupy albo dwa pomiary

Dwie średnie z różnych osób porównasz testem t Welcha, a dwa pomiary tych samych osób – testem t dla prób zależnych, w którym założenie normalności dotyczy różnic. Jedną średnią z wartością odniesienia, np. normą albo środkiem skali, porównasz testem dla jednej próby. Testy rangowe wybieraj z powodu merytorycznego: zmienna porządkowa, mała próba z silną skośnością, wyraźny efekt podłogi. Pamiętaj, że test Manna–Whitneya nie jest „testem median”. Sprawdza, czy wynik losowej osoby z jednej grupy jest zwykle wyższy niż z drugiej. W każdym wariancie podaj wielkość efektu z przedziałem ufności.

Etap 6. Porównaj trzy grupy lub więcej

Przy trzech grupach lub więcej nie rób serii testów t, bo każdy kolejny test zwiększa szansę na fałszywy alarm. Porównaj grupy jedną analizą wariancji, najlepiej w wersji Welcha, a pary sprawdź testem post hoc z wbudowaną kontrolą błędu, np. Gamesa–Howella. Jeśli przed badaniem masz konkretną hipotezę, np. „obie formy treningu działają lepiej niż kontrola”, sprawdź ją kontrastem planowanym zamiast wszystkich par. Te same osoby w trzech pomiarach lub więcej analizujesz ANOVA z powtarzanymi pomiarami z poprawką Greenhouse’a–Geissera albo testem Friedmana. Przy dwóch czynnikach naraz najważniejsza jest interakcja i jej rozkład na efekty proste.

Uzupełnienia do tego etapu: test Dunna po teście Kruskala–Wallisa, test Tukeya przy zbliżonych wariancjach, test Dunnetta, gdy kilka grup porównujesz z jedną kontrolą, założenie sferyczności oraz efekt interakcji w planach czynnikowych.

Etap 7. Związki, dane kategorialne i modele regresji

Hipoteza o związku dwóch zmiennych ilościowych prowadzi do korelacji. Zacznij od wykresu rozrzutu, bo współczynnik nie pokaże związku krzywoliniowego ani wpływu jednej skrajnej obserwacji. Przy związku liniowym wybierz r Pearsona, przy danych porządkowych albo związku tylko monotonicznym – ρ Spearmana lub τ Kendalla. Dla dwóch zmiennych kategorialnych licz test chi-kwadrat z V Craméra, przy małych liczebnościach oczekiwanych – test dokładny Fishera. Odpowiedzi tak/nie tych samych osób przed i po porównasz testem McNemara. Gdy predyktorów jest kilka albo chcesz uwzględnić zmienne kontrolne, pojedynczy test przestaje wystarczać. Rodzaj regresji wybierasz wtedy według zmiennej zależnej.

Dalsze strony do tego etapu: korelacja Pearsona, tau Kendalla, wykres rozrzutu, test chi-kwadrat niezależności, V Craméra, test Q Cochrana i poradnik regresja wieloraka krok po kroku dla wyniku ilościowego z kilkoma predyktorami.

Etap 8. Wiele testów, wielkość efektu i opis wyników

Gdy z kilku testów wyciągasz jeden wniosek, potrzebujesz poprawki na wielokrotne porównania. Metoda Holma kontroluje łączny błąd I rodzaju przy dowolnej kombinacji prawdziwych hipotez (Holm, 1979), a przy tym zawsze odrzuca co najmniej tyle hipotez, co zwykła korekta Bonferroniego. Standardy JARS-Quant zalecają też, by w raporcie oddzielić analizy pierwszorzędowe, drugorzędowe i eksploracyjne (Appelbaum i in., 2018). Sama wartość p nie mówi, jak duży jest efekt ani jak prawdopodobna jest hipoteza (Greenland i in., 2016). Każdy wynik testu podawaj z wielkością efektu i 95% przedziałem ufności, a wynik nieistotny opisuj jako brak dowodu, nie dowód braku efektu.

Mam problem → przeczytaj

Tabela zbiera pytania, z którymi studenci przychodzą najczęściej. W prawej kolumnie jest strona, od której warto zacząć.

Typowe problemy z wyborem testu statystycznego i strony, które je rozwiązują
Mam problemPrzeczytaj
Nie wiem, od czego zacząć wybór testu.Jak dobrać test statystyczny do hipotezy?
Test Shapiro–Wilka jest istotny – czy muszę zrezygnować z testu t?Jak sprawdzić normalność rozkładu
Test Levene’a wyszedł istotny. Który wiersz tabeli SPSS wybrać?Test Welcha
Mam pomiar przed i po u tych samych osób.Test t dla prób zależnych
Mam pomiar przed i po w grupie eksperymentalnej i kontrolnej.ANCOVA i badanie interwencyjne przed i po
ANOVA jest istotna – jak sprawdzić, które grupy się różnią?Testy post hoc
Mam trzy pomiary tych samych osób i część z nich odpadła.Pomiary powtarzane – ANOVA czy model mieszany?
Zmienna zależna to jedna pozycja skali Likerta.Regresja porządkowa krok po kroku
Chcę sprawdzić związek dwóch skal, ale rozkład jest skośny.Korelacja Spearmana
Wynik to liczba zdarzeń (wizyt, błędów, dni).Regresja dla zliczeń
Robię kilkanaście testów i boję się fałszywych alarmów.Poprawki na wielokrotne porównania
Wynik jest nieistotny. Czy to znaczy, że efektu nie ma?Test równoważności (TOST)
Rozkład jest skośny – czy test t jest jeszcze w porządku?Test t a rozkład nienormalny
Test jednostronny czy dwustronny?Test jednostronny czy dwustronny
Czy muszę stosować poprawkę na wielokrotne porównania?Czy stosować poprawkę?
Chcę porównać dwie korelacje.Jak porównać dwie korelacje
Mam kilka zmiennych zależnych naraz.MANOVA krok po kroku
Zmienna zależna ma trzy kategorie bez porządku.Wielomianowa regresja logistyczna
Wyszła interakcja w ANOVA i nie wiem, jak ją opisać.Interakcja w ANOVA
Wyszło p = .06.p = .06 – trend czy brak efektu?
Zmienna zależna nie ma rozkładu normalnego – czy mogę zrobić regresję?Normalność reszt czy zmiennych?
Za małe liczebności oczekiwane w chi-kwadrat.Chi-kwadrat czy test Fishera?
Która ANOVA, gdy są grupy i kilka pomiarów?ANOVA mieszana
Który test post hoc wybrać?Testy post hoc – który wybrać?
Chcę porównać odsetki w dwóch grupach.Jak porównać odsetki?
Mam odpowiedzi tak/nie przed i po.Test McNemara
Zmienna jest skośna – transformować?Kiedy transformować zmienną?
Efekt istotny u kobiet, nieistotny u mężczyzn.Jak porównać regresję w dwóch grupach?
Potrzebuję wielkości efektu dla testu nieparametrycznego.Efekt w testach nieparametrycznych
Mann–Whitney czy Welch, gdy wariancje są nierówne?Testy odporne dla dwóch grup
Robię test t w SPSS – który wiersz odczytać?Test t w SPSS
ANOVA w SPSS z testami post hoc.ANOVA w SPSS

Najważniejsze hasła ze słownika

Hasła poniżej uzupełniają ścieżkę. Każde ma definicję, wzór lub przykład liczbowy i zapis wyniku w pracy.

Podstawy wnioskowania

Testy parametryczne i ich rozszerzenia

Testy nieparametryczne

Dane kategorialne

Wielkość efektu i tabele

Kalkulatory

Kalkulatory nie zastąpią analizy, ale pozwalają szybko sprawdzić liczby: przed badaniem, przy czytaniu cudzych wyników i przed oddaniem rozdziału.

Kiedy warto skorzystać z pomocy

Większość decyzji z tego przewodnika podejmiesz samodzielnie. Pomoc przydaje się wtedy, gdy plan badania nie pasuje do żadnej komórki schematu: dane są zagnieżdżone, pomiarów jest kilka i część osób odpadła, zmienna zależna jest zliczeniem albo hipotezy wymagają modelu, a nie pojedynczego testu. Wtedy możemy wspólnie sprawdzić plan, wykonać analizę statystyczną do pracy dyplomowej i wyjaśnić każdy wynik tak, żebyś umiał(a) go opisać i obronić. O tym, gdzie przebiega granica dozwolonej pomocy, piszemy w tekście czy można zlecić analizę statystyczną.

Inne przewodniki w serwisie: statystyka w pracy dyplomowej (cała droga od hipotez do obrony), analiza kwestionariusza, badania kliniczne i pomiar przed i po oraz ankiety i eksperymenty.

Najczęstsze pytania

Czy test statystyczny można zmienić po obejrzeniu danych?

Test wybiera się przed analizą, na podstawie hipotezy i planu badania. Zmiana po obejrzeniu wyników, np. przejście na test jednostronny albo na inny test, bo „lepiej wyszło”, podważa wiarygodność p. Jeśli dane naprawdę wymagają innej metody, np. z powodu silnej skośności przy małej próbie, opisz zmianę i jej powód w pracy, a pierwotną analizę pokaż jako uzupełnienie.

Skąd wiedzieć, czy moja zmienna jest ilościowa czy porządkowa?

Zmienna ilościowa ma równe odstępy między wartościami, np. czas reakcji, liczba punktów w teście albo suma lub średnia kilkunastu pozycji skali. Pojedyncza odpowiedź na skali Likerta czy wykształcenie to zmienne porządkowe: kolejność jest znana, ale odstępy nie. Od tej decyzji zależy, czy porównujesz średnie, czy rangi (zob. skala porządkowa).

Czy w jednej pracy można użyć testu t i testu Manna–Whitneya?

Tak, jeśli każda hipoteza ma własne uzasadnienie wyboru, np. test t Welcha dla wyniku skali i test Manna–Whitneya dla pojedynczej pozycji porządkowej. Nie licz jednak obu testów dla tej samej hipotezy, żeby wybrać korzystniejszy wynik. Możesz za to pokazać test rangowy jako zapowiedzianą w metodzie analizę wrażliwości.

Kiedy zamiast testu statystycznego potrzebna jest regresja?

Regresja jest potrzebna, gdy chcesz ocenić kilka predyktorów naraz, uwzględnić zmienne kontrolne albo gdy zmienna zależna jest dychotomiczna, porządkowa lub jest liczbą zdarzeń. Rodzaj modelu wybierasz według zmiennej zależnej: liniowa, logistyczna, porządkowa albo model dla zliczeń. Przy danych zagnieżdżonych potrzebny jest model wielopoziomowy.

Jak uzasadnić wybór testu w rozdziale metodologicznym?

Dla każdej hipotezy napisz jedno zdanie: rodzaj zmiennej zależnej, układ badania i wybrany test, np. „Różnicę w poziomie stresu między dwiema niezależnymi grupami sprawdzono testem t Welcha, który nie zakłada równości wariancji”. Dodaj, jak sprawdzano założenia, jaką poprawkę zastosowano przy wielu testach i jaką wielkość efektu podajesz. Wzory takich zdań są w poradniku opis metod statystycznych w pracy.

Powiązane hasła

Przeczytaj też

Nie wiesz, który test pasuje do Twoich hipotez?

Sprawdzimy plan analizy, dobierzemy test do każdej hipotezy i wyjaśnimy wyniki tak, żebyś umiał(a) uzasadnić wybór na seminarium i na obronie.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report. American Psychologist, 73(1), 3–25. https://doi.org/10.1037/amp0000191 ● Otwarty dostęp
  2. Blanca, M. J., Alarcón, R., Arnau, J., Bono, R., & Bendayan, R. (2017). Non-normal data: Is ANOVA still a valid option? Psicothema, 29(4), 552–557. https://doi.org/10.7334/psicothema2016.383 ● Otwarty dostęp
  3. Delacre, M., Lakens, D., & Leys, C. (2017). Why psychologists should by default use Welch's t-test instead of Student's t-test. International Review of Social Psychology, 30(1), 92–101. https://doi.org/10.5334/irsp.82 ● Otwarty dostęp
  4. Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350. https://doi.org/10.1007/s10654-016-0149-3 ● Otwarty dostęp
  5. Holm, S. (1979). A simple sequentially rejective multiple test procedure. Scandinavian Journal of Statistics, 6(2), 65–70. https://www.jstor.org/stable/4615733
  6. Zimmerman, D. W. (2004). A note on preliminary tests of equality of variances. British Journal of Mathematical and Statistical Psychology, 57(1), 173–181. https://doi.org/10.1348/000711004849222

Cytowania BibTeX

@article{appelbaum2018journal, author={Appelbaum, Mark and Cooper, Harris and Kline, Rex B. and Mayo-Wilson, Evan and Nezu, Arthur M. and Rao, Stephen M.}, title={{Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report}}, journal={American Psychologist}, year={2018}, volume={73}, number={1}, pages={3--25}, doi={10.1037/amp0000191}}
@article{blanca2017nonnormal, author={Blanca, María J. and Alarcón, Rafael and Arnau, Jaume and Bono, Roser and Bendayan, Rebecca}, title={{Non-normal data: Is ANOVA still a valid option?}}, journal={Psicothema}, year={2017}, volume={29}, number={4}, pages={552--557}, doi={10.7334/psicothema2016.383}}
@article{delacre2017why, author={Delacre, Marie and Lakens, Daniël and Leys, Christophe}, title={{Why psychologists should by default use Welch's t-test instead of Student's t-test}}, journal={International Review of Social Psychology}, year={2017}, volume={30}, number={1}, pages={92--101}, doi={10.5334/irsp.82}}
@article{greenland2016statistical, author={Greenland, Sander and Senn, Stephen J. and Rothman, Kenneth J. and Carlin, John B. and Poole, Charles and Goodman, Steven N. and Altman, Douglas G.}, title={{Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations}}, journal={European Journal of Epidemiology}, year={2016}, volume={31}, number={4}, pages={337--350}, doi={10.1007/s10654-016-0149-3}}
@article{holm1979simple, author={Holm, Sture}, title={{A simple sequentially rejective multiple test procedure}}, journal={Scandinavian Journal of Statistics}, year={1979}, volume={6}, number={2}, pages={65--70}, url={https://www.jstor.org/stable/4615733}}
@article{zimmerman2004note, author={Zimmerman, Donald W.}, title={{A note on preliminary tests of equality of variances}}, journal={British Journal of Mathematical and Statistical Psychology}, year={2004}, volume={57}, number={1}, pages={173--181}, doi={10.1348/000711004849222}}
R