Prace dyplomowe · Ankieta

Jak opisać wyniki ankiety z 30 pytaniami bez 30 testów (i bez 150 fałszywych odkryć)

Masz 30 pytań i pięć zmiennych w metryczce, więc program podsuwa 150 testów. Pokazujemy, jak przypisać każdemu pytaniu rolę: opis z przedziałem ufności, wynik skali, test hipotezy albo oznaczoną eksplorację – i jak z tego ułożyć rozdział wyników.

Strona główna / Blog / Wyniki ankiety z wieloma pytaniami
W skrócie: Nie testuj każdego pytania z każdą zmienną z metryczki: przy 150 testach bez żadnego prawdziwego efektu średnio 7.6 wyniku wychodzi „istotnych”, a co najmniej jeden fałszywy alarm pojawia się w 99.9% ankiet. Każdemu pytaniu przypisz rolę: pytania opisowe – tabela zbiorcza z odsetkami i 95% CI bez testów, pozycje skali – jeden wynik i alfa, zmienne z hipotez – po jednym zaplanowanym teście, reszta – wyraźnie oznaczona eksploracja z korektą FDR. Rozdział wyników układasz w tej samej kolejności.

30 pytań, 5 zmiennych z metryczki, 150 testów

Ankieta jest zamknięta, eksport z formularza leży na dysku, a w nim 30 pytań merytorycznych i pięć pytań metryczki: płeć, wiek, rok studiów, miejsce zamieszkania i praca zarobkowa. Najprostszy pomysł na rozdział wyników wygląda tak: każde pytanie zestawić z każdą zmienną z metryczki i opisać to, co wyszło istotne. To 30 × 5 = 150 testów. Program policzy je w kilka sekund, a rozdział zapełni się tabelami krzyżowymi i wykresami kołowymi.

Problem polega na tym, że przy 150 testach kilka „istotnych” wyników pojawi się nawet wtedy, gdy w populacji nie ma żadnej różnicy. Nie odróżnisz ich od prawdziwych. Promotor albo recenzent zapyta, dlaczego testowałeś(-aś) akurat to i jak to się ma do hipotez. Na to pytanie trudno odpowiedzieć, gdy jedynym kryterium było „p < .05”.

Ten wpis pokazuje inną drogę w pięciu krokach. Najpierw każde pytanie dostaje rolę wynikającą z pytań badawczych i hipotez. Pytania opisowe trafiają do tabeli zbiorczej z odsetkami i przedziałami ufności, bez testów. Pozycje skali łączysz w jeden wynik. Testy liczysz tylko dla hipotez, a resztę opisujesz jako wyraźnie oznaczoną eksplorację. Na końcu z tych elementów powstaje rozdział wyników. Ogólną kolejność analizy ankiety, od eksportu po rzetelność, opisuje poradnik analiza ankiety do pracy dyplomowej. Tutaj zajmujemy się jednym problemem: co zrobić, gdy pytań jest dużo.

Przykład przewodni pochodzi ze zdrowia publicznego (dane symulowane). Ankietę „Zachowania zdrowotne studentów” wypełniło 214 osób. Ma ona dziesięciopozycyjną skalę zachowań prozdrowotnych (q01–q10, odpowiedzi 1–5), 16 pytań tak/nie (śniadanie, papierosy, napoje energetyczne, wizyta u dentysty…), pytanie o liczbę godzin snu, liczbę dni z aktywnością fizyczną, samoocenę zdrowia i odczuwany stres. Plik z odpowiedziami możesz pobrać: ankieta-zachowania-zdrowotne-30-pytan.csv (214 wierszy, 36 kolumn). Wszystkie liczby poniżej pochodzą z kodu w sekcji Kod R.

Co się dzieje, gdy policzysz wszystko ze wszystkim

Na poziomie istotności α = .05 każdy test, w którym naprawdę nie ma różnicy, ma 5% szans na fałszywy alarm, czyli błąd I rodzaju. Przy 150 testach oczekiwana liczba fałszywych alarmów wynosi 150 × .05 = 7.5. Sprawdziliśmy to symulacją. Wygenerowaliśmy 1000 ankiet o takim samym układzie jak przykładowa (214 osób, 30 pytań, pięć zmiennych z metryczki). Metryczka była w nich całkowicie niezależna od odpowiedzi, więc każdy wynik istotny był fałszywy. W każdej ankiecie policzyliśmy 150 testów, takich, jakie wybrałby student: test χ², test Manna–Whitneya, test Kruskala–Wallisa, test t Welcha albo korelację z wiekiem.

Histogram liczby wyników p mniejszych od .05 w 1000 symulowanych ankietach bez żadnego prawdziwego efektu; najczęściej od 5 do 8 fałszywych alarmów, średnio 7.6 na 150 testów; co najmniej jeden fałszywy alarm w 99.9 procent ankiet bez poprawki, 4.2 procent po korekcie Holma i 4.3 procent po procedurze Benjaminiego–Hochberga
Rysunek 1. Ile „istotnych” wyników daje 150 testów, gdy żaden efekt nie istnieje. Każdy słupek to odsetek ankiet z daną liczbą wyników p < .05; czerwona linia to średnia. Obliczenia: R (dane symulowane, 1000 ankiet).

Średnio wychodziło 7.6 „istotnych” wyników na ankietę (SD = 3.15), a w 90% ankiet od 3 do 13. Co najmniej jeden fałszywy alarm pojawił się w 99.9% ankiet, co najmniej pięć – w 85.2%, a dziesięć lub więcej – w 25.3%. Rozrzut jest większy niż przy 150 niezależnych testach (SD = 2.67), bo pozycje jednej skali są ze sobą skorelowane i „wychodzą” razem. Simmons, Nelson i Simonsohn (2011) pokazali, że taka swoboda w wyborze analiz radykalnie zwiększa odsetek wyników fałszywie pozytywnych. Wybieranie z serii testów tych, które wyszły, to p-hacking, nawet jeśli nikt nie robi tego celowo. Szerzej opisuje to hasło problem wielokrotnych porównań.

W ankiecie przykładowej wiemy, które związki są prawdziwe, bo sami je wbudowaliśmy w dane. Są cztery: praca zarobkowa skraca sen, osoby mieszkające z rodzicami częściej jedzą śniadanie, a płeć wiąże się z piciem napojów energetycznych i wizytami u dentysty. Gdy policzyć wszystkie 150 testów, istotnych wyników jest 12. Cztery to prawdziwe związki, a osiem to fałszywe alarmy z p od .032 do .049. Wśród nich są wiek a e-papierosy, rok studiów a skracanie snu z powodu nauki, płeć a samoocena zdrowia. Każdy z nich dałoby się „wyjaśnić” w dyskusji.

Odruchowa odpowiedź brzmi: poprawka na wszystko. Po korekcie Benjaminiego–Hochberga dla wszystkich 150 testów zostają jednak tylko dwa wyniki. Znika m.in. prawdziwy, choć niewielki efekt pracy zarobkowej na sen (p = .039 przed korektą), czyli wynik dla jednej z hipotez. Ani „testuj wszystko”, ani „poprawiaj wszystko” nie jest dobrym planem. Dobrym planem jest ograniczenie testów do tych, które wynikają z pytań badawczych.

Dla własnej liczby testów policz to w kalkulatorze fałszywych alarmów: podaje prawdopodobieństwo co najmniej jednego fałszywego alarmu i rozkład ich liczby.

Krok 1. Wróć do pytań badawczych i przypisz każdemu pytaniu rolę

Zanim otworzysz program statystyczny, weź kwestionariusz i obok każdego pytania zapisz, po co ono jest. Punktem wyjścia są pytania badawcze i hipotezy z rozdziału metodologicznego. Pytanie badawcze typu „jakie zachowania zdrowotne deklarują studenci?” jest opisowe i nie wymaga testu. Testu wymaga hipoteza badawcza, która przewiduje różnicę albo związek. W przykładzie są trzy:

  • H1: studenci pracujący zarobkowo śpią krócej niż niepracujący (q17 × praca);
  • H2: im wyższy wynik skali zachowań prozdrowotnych, tym lepsza samoocena zdrowia (q01–q10 × q27);
  • H3: osoby mieszkające z rodzicami częściej jedzą codziennie śniadanie niż mieszkające poza domem (q11 × miejsce zamieszkania).

Pozostałe pytania nie znikają z pracy, tylko dostają inną rolę. Tabela poniżej pokazuje typowe role w ankiecie studenckiej i to, co z nimi zrobić.

Role pytań ankiety w analizie i odpowiadające im sposoby opisu wyników
Rola pytaniaPrzykład w ankiecieCo z nim zrobićTesty
Metryczkapłeć, wiek, rok, miejsce zamieszkania, pracaOpis próby w Tabeli 1; w testach tylko wtedy, gdy zmienna występuje w hipotezieTylko w hipotezie
Pozycja skaliq01–q10Odwrócenie pozycji, jeden wynik skali, rzetelnośćBrak na pojedynczych pozycjach
Pytanie opisowe15 pytań tak/nie, sen, aktywność, stresTabela zbiorcza: n, %, 95% CI albo M, SDBrak
Zmienna z hipotezyq11, q17, q27 i wynik skaliJeden test zaplanowany przed analizą, wielkość efektu z CIPo jednym na hipotezę
Pytanie warunkowe (po filtrze)„Jeśli palisz – ile papierosów dziennie?”Opis wśród osób, których pytanie dotyczy; mianownik w nocieZwykle brak
Pytanie wielokrotnego wyboru„Skąd czerpiesz informacje o zdrowiu?”Zmienne 0/1, % osób z CITylko w hipotezie
Pytanie „z ciekawości”płeć × każde pytanie tak/nieOsobny podrozdział eksploracyjny albo pominięcieZ korektą (rodzina eksploracyjna)

Kilka wyjaśnień do tabeli. Metryczka służy przede wszystkim do opisu, kogo zbadano – jak go zrobić, pokazuje wpis Tabela 1 – charakterystyka próby. Kodowanie wieku, stażu i wykształcenia omawia wpis metryczka w ankiecie: jak zakodować wiek, staż i wykształcenie. To, że w ankiecie jest pytanie o płeć, nie oznacza, że trzeba porównywać płcie w każdym pytaniu. Przy pytaniach warunkowych najpierw ustal mianownik (zob. pytania filtrujące i „nie dotyczy”). Przy pytaniach wielokrotnego wyboru licz odsetek osób, nie zaznaczeń (zob. pytania wielokrotnego wyboru – kodowanie i liczenie).

Siatka 30 pytań ankiety pokolorowanych według roli: dziesięć pozycji skali q01–q10 daje jeden wynik, trzy pytania q11, q17 i q27 są zmiennymi w hipotezach H3, H1 i H2, pozostałe 17 pytań trafia do tabeli zbiorczej bez testów; zamiast 150 testów zostają 3 testy hipotez i 16 testów eksploracyjnych
Rysunek 2. Mapa ankiety przykładowej: rola każdego z 30 pytań w analizie. Pytanie q11 (śniadanie) występuje w hipotezie H3 i jednocześnie w tabeli zbiorczej. Obliczenia: R (dane symulowane).

Taka mapa to w praktyce plan analizy statystycznej. Najlepiej zapisać go przed zebraniem danych, a najpóźniej przed obejrzeniem wyników. Jeśli plan powstaje po fakcie, łatwo dobrać hipotezy do tego, co wyszło. To HARKing.

Krok 2. Pytania opisowe: tabela zbiorcza zamiast testów

Pytanie „ilu studentów pije napoje energetyczne co najmniej raz w tygodniu?” ma odpowiedź liczbową: odsetek. Test nie jest tu potrzebny, bo nie porównujesz niczego z niczym. Potrzebujesz natomiast informacji, jak dokładne jest to oszacowanie. Daje ją przedział ufności dla proporcji. Brown, Cai i DasGupta (2001) pokazali, że popularny przedział Walda (odsetek ± 1.96 × błąd standardowy) ma zawodne pokrycie, i zalecają m.in. przedział Wilsona. W R daje go funkcja prop.test() z correct = FALSE.

Szesnaście pytań tak/nie z przykładu mieści się w jednej tabeli. Wiersze posortuj malejąco według odsetka, a nie w kolejności z kwestionariusza – czytelnik od razu zobaczy, co jest częste, a co rzadkie. Liczebność w drugiej kolumnie pokazuje mianownik, który różni się między pytaniami, bo część osób pominęła pojedyncze pytania.

Tabela 2

Zachowania zdrowotne deklarowane przez studentów

ZachowanienTak%95% CI
Ekran ponad godzinę przed snem20915172.2[65.8, 77.9]
Wizyta u dentysty w ostatnim roku21014267.6[61.0, 73.6]
Skracanie snu z powodu nauki (ostatni miesiąc)21113463.5[56.8, 69.7]
Co najmniej 1.5 l wody dziennie20813163.0[56.2, 69.3]
Codzienne śniadanie21112760.2[53.5, 66.6]
Warzywa codziennie2109545.2[38.7, 52.0]
Dojazd pieszo lub rowerem2108942.4[35.9, 49.1]
Alkohol co najmniej raz w tygodniu2128439.6[33.3, 46.3]
Kontakt z pomocą psychologiczną (kiedykolwiek)2097234.4[28.3, 41.1]
Badania krwi w ostatnim roku2117133.6[27.6, 40.3]
Fast food co najmniej raz w tygodniu2107033.3[27.3, 40.0]
Aplikacja do monitorowania zdrowia2086732.2[26.2, 38.8]
Napoje energetyczne co najmniej raz w tygodniu2146128.5[22.9, 34.9]
Szczepienie przeciw grypie w ostatnim sezonie2093516.7[12.3, 22.4]
E-papierosy2113416.1[11.8, 21.7]
Palenie papierosów2112712.8[8.9, 18.0]

Uwaga. N = 214; n – liczba osób, które odpowiedziały na pytanie (pominięcia od 0 do 6 osób). Odsetki liczono od n. CI = przedział ufności Wilsona. Dane symulowane.

Ta sama tabela jako wykres zajmuje mniej miejsca niż szesnaście wykresów kołowych i pozwala porównać pytania jednym spojrzeniem (rysunek 3). Wykres kołowy pokazuje jedno pytanie naraz, a różnice kątów trudno ocenić. W pracy dyplomowej lepiej go unikać. Wystarczy jeden wykres słupkowy albo punktowy z przedziałami, posortowany tak jak tabela.

Wykres punktowy szesnastu zachowań zdrowotnych posortowanych malejąco z 95-procentowymi przedziałami Wilsona: ekran ponad godzinę przed snem 72.2 procent, wizyta u dentysty 67.6, skracanie snu z powodu nauki 63.5, aż do e-papierosów 16.1 i palenia papierosów 12.8 procent
Rysunek 3. Tabela zbiorcza jako jeden wykres: odsetek odpowiedzi „tak” (czerwony punkt) z 95% przedziałem ufności Wilsona (niebieski odcinek). Obliczenia: R (dane symulowane).

W tekście nie przepisuj całej tabeli. Wskaż najczęstsze i najrzadsze zachowania oraz te, o które pyta pytanie badawcze. Pytania na skali Likerta opisz rozkładem odpowiedzi, a nie średnią z dwoma miejscami po przecinku – gotowy układ tabeli i wykres rozbieżny pokazuje wpis odpowiedzi Likerta w raporcie. Pytania liczbowe opisz średnią i odchyleniem standardowym (w przykładzie sen: M = 6.91 h, SD = 0.98; dni z aktywnością: M = 2.98, SD = 2.12). Jeśli jakaś kategoria odpowiedzi jest bardzo rzadka, zastanów się nad jej połączeniem z sąsiednią, ale według reguły ustalonej przed analizą (zob. łączenie kategorii odpowiedzi przed analizą). Pełne rozkłady wszystkich 30 pytań możesz dać w aneksie.

Krok 3. Pytania tworzące skalę: jeden wynik, nie dziesięć testów

Dziesięć pozycji q01–q10 mierzy jeden konstrukt – dbałość o zdrowie. Testowanie każdej pozycji osobno z płcią czy rokiem studiów dałoby 50 testów o tej samej treści. Wynik takich porównań zależałby od przypadkowego brzmienia pojedynczego pytania. Pozycje skali łączysz w jeden wynik: najpierw odwracasz pozycje sformułowane przeciwnie (w przykładzie q04 i q08: 6 − odpowiedź), potem liczysz średnią. Krok po kroku pokazuje to poradnik jak policzyć wynik kwestionariusza.

W przykładzie wynik skali wyniósł M = 3.03, SD = 0.81 (zakres 1.0–5.0), a alfa Cronbacha α = .92. Rzetelność podajesz raz, dla wyniku całej skali – jak ją ocenić i opisać, wyjaśnia wpis alfa Cronbacha – rzetelność skali. Z dziesięciu pytań robi się w ten sposób jedna zmienna. W przykładzie trafia ona do hipotezy H2. Rozkłady odpowiedzi na pojedyncze pozycje możesz pokazać opisowo albo w aneksie, ale bez testów.

Jeśli ankieta zawiera gotowe narzędzie (np. skalę stresu), wynik liczysz według klucza autorów. Gdy pytania tylko wyglądają podobnie, ale nie były projektowane jako skala, nie sumuj ich na siłę – zostają pytaniami opisowymi.

Krok 4. Testy tylko dla hipotez – główne osobno, eksploracyjne osobno

Hipotezy H1–H3 testujesz po jednym teście każdą, tak jak zapisałeś(-aś) w planie. Dobór testu wynika z rodzaju zmiennych, a nie z tego, który test „wyjdzie”. Przy każdym wyniku podaj wielkość efektu, a nie samo p. W przykładzie wyniki wyglądały tak:

  • H1. Pracujący spali średnio 6.76 h (SD = 0.96, n = 92), niepracujący 7.03 h (SD = 0.98, n = 122). Test t Welcha: t(199.01) = 2.07, p = .039. Różnica wyniosła 0.28 h, 95% CI [0.01, 0.54], d = 0.29, 95% CI [0.01, 0.56].
  • H2. Wynik skali zachowań prozdrowotnych korelował z samooceną zdrowia (korelacja Spearmana): ρ = .27, p < .001, N = 214.
  • H3. Codzienne śniadanie deklarowało 75.6% osób mieszkających z rodzicami (62 z 82) i 50.4% mieszkających poza domem (65 z 129). Test χ² niezależności: χ²(1, N = 211) = 13.31, p < .001, φ = .25.

Czy trzy hipotezy wymagają poprawki na wielokrotne porównania? Odpowiedź zależy od tego, jak z wyników powstaje wniosek. Rubin (2021) rozróżnia trzy sytuacje. Gdy każdy test sprawdza osobną hipotezę i prowadzi do osobnego wniosku (testowanie indywidualne), korekta nie jest potrzebna. Gdy do potwierdzenia jednej ogólnej tezy wystarcza którykolwiek z kilku wyników, korekta jest konieczna. Bender i Lange (2001) podkreślają, że w badaniach konfirmacyjnych korekty są potrzebne zawsze, gdy wyniki wielu testów łączy się w jeden końcowy wniosek. Hipotezy H1–H3 dotyczą trzech różnych zmiennych i każda ma osobny wniosek, dlatego testujemy je bez korekty i piszemy to w metodzie. Pełną listę sytuacji „tak / nie” znajdziesz we wpisie czy stosować poprawkę na wielokrotne porównania, a porównanie metod – w poradniku poprawki na wielokrotne porównania.

Pytania „z ciekawości” to osobna rodzina. W przykładzie promotor chciał wiedzieć, czy kobiety i mężczyźni różnią się w zachowaniach z Tabeli 2. To 16 testów χ² bez hipotez. Armstrong (2014) wskazuje, że korekta jest uzasadniona właśnie wtedy, gdy wykonuje się wiele testów bez wcześniej zaplanowanych hipotez. Przy analizach eksploracyjnych dobrym wyborem jest procedura Benjaminiego–Hochberga. Kontroluje ona oczekiwany odsetek fałszywych odkryć (FDR) i ma większą moc niż metody kontrolujące ryzyko choćby jednego błędu (Benjamini i Hochberg, 1995). Jeśli wolisz ostrzejszą kontrolę, wybierz poprawkę Holma.

Wynik eksploracji: dwie różnice pozostały istotne po korekcie. Napoje energetyczne co najmniej raz w tygodniu piło 19.4% kobiet i 50.9% mężczyzn, a u dentysty w ostatnim roku było 75.7% kobiet i 44.4% mężczyzn (w obu przypadkach skorygowane p < .001). Pozostałe 14 porównań było nieistotne już przed korektą (najmniejsze p = .220). W tym przykładzie obie metody korekty dały ten sam wynik, ale przy słabszych efektach BH zachowałby więcej odkryć niż Holm.

Wagenmakers i in. (2012) piszą, że za konfirmacyjne można uznać tylko analizy zaplanowane przed zobaczeniem danych, a pozostałe trzeba oznaczać jako eksploracyjne. Standardy JARS-Quant także dzielą hipotezy, analizy i wnioski na pierwszorzędowe, drugorzędowe i eksploracyjne (Appelbaum i in., 2018). Wynik eksploracyjny jest tropem do kolejnego badania, a nie potwierdzeniem hipotezy. Nawet jeśli różnica między płciami jest duża, nie przenoś jej do hipotez i nie dopisuj uzasadnienia teoretycznego po fakcie.

Krok 5. Układ rozdziału wyników ankiety

Rozdział wyników ma prowadzić od tego, kogo zbadano, przez to, co badani deklarują, do odpowiedzi na hipotezy. Kolejność wynika z logiki badania, a nie z kolejności pytań w kwestionariuszu. Dla ankiety z wieloma pytaniami sprawdza się taki układ:

Podrozdziały rozdziału wyników ankiety z wieloma pytaniami, ich zawartość i forma przedstawienia
PodrozdziałCo zawieraForma
4.1. Próba i przygotowanie danychLiczba ankiet, wykluczenia, braki; charakterystyka próby (jeśli nie ma jej w metodzie)Akapit i Tabela 1
4.2. Wyniki skalSposób liczenia, M, SD, zakres, rzetelnośćAkapit, mała tabela przy kilku skalach
4.3. Odpowiedzi na pytania opisoweOdsetki z 95% CI, średnie zmiennych liczbowychJedna–dwie tabele zbiorcze i jeden wykres
4.4. Weryfikacja hipotezKażda hipoteza: statystyki opisowe, test, wielkość efektu z CI, zdanie o zgodności z hipoteząAkapit na hipotezę, tabela przy wielu wynikach
4.5. Analizy eksploracyjneLiczba testów, korekta, wyniki istotne i informacja o pozostałychKrótki akapit, wyraźnie oznaczony
4.6. PodsumowanieDecyzja o każdej hipotezieTabela hipotez

W tym układzie każde z 30 pytań ma swoje miejsce. Żadne nie dostaje jednak osobnego podrozdziału, wykresu kołowego i testu. Rozkłady pojedynczych pytań, których nie ma w tabelach zbiorczych, przenieś do aneksu. Rozdział pozostaje czytelny, a nic nie ginie. Pełny, skomentowany przykład rozdziału wyników (dla badania z grupami i pomiarem przed i po) znajdziesz we wpisie wyniki badań własnych – przykładowy rozdział. Jak cały proces wygląda na surowym eksporcie z formularza, od nagłówków pytań po zdania APA, pokazuje wpis analiza ankiety z Google Forms krok po kroku.

Gotowy szkic: plan analiz i rozdział wyników (APA)

Poniższe akapity opisują przykład z tego wpisu. Potraktuj je jako szkielet: podmień liczby, nazwy zmiennych i hipotezy na własne. Pierwszy akapit należy do podrozdziału „Analiza statystyczna” w metodzie, pozostałe – do rozdziału wyników.

Metoda – plan analiz.

Odpowiedzi na pytania opisowe przedstawiono jako liczebności i odsetki z 95% przedziałami ufności Wilsona; odsetki liczono od liczby osób, które odpowiedziały na dane pytanie. Wynik skali zachowań prozdrowotnych obliczono jako średnią dziesięciu pozycji (pozycje 4 i 8 przekodowano odwrotnie). Każdą z trzech hipotez sprawdzono jednym testem wskazanym w planie analiz: H1 testem t Welcha, H2 korelacją Spearmana, H3 testem chi-kwadrat niezależności. Ponieważ hipotezy dotyczyły różnych zmiennych i prowadziły do odrębnych wniosków, nie stosowano korekty na wielokrotne testowanie. Porównania kobiet i mężczyzn w 16 pytaniach dotyczących zachowań zdrowotnych potraktowano jako analizę eksploracyjną, a wartości p skorygowano procedurą Benjaminiego–Hochberga. Przyjęto poziom istotności α = .05.

4.3. Odpowiedzi na pytania opisowe.

Deklarowane zachowania zdrowotne przedstawiono w Tabeli 2 i na Rysunku 3. Najczęściej badani korzystali z telefonu lub komputera dłużej niż godzinę przed snem (72.2%, 95% CI [65.8, 77.9]) i byli u dentysty w ostatnim roku (67.6%, 95% CI [61.0, 73.6]). Codzienne śniadanie deklarowało 60.2% osób (95% CI [53.5, 66.6]). Najrzadziej badani palili papierosy (12.8%, 95% CI [8.9, 18.0]), używali e-papierosów (16.1%, 95% CI [11.8, 21.7]) i szczepili się przeciw grypie w ostatnim sezonie (16.7%, 95% CI [12.3, 22.4]). Badani spali średnio 6.91 godziny na dobę (SD = 0.98).

4.4. Weryfikacja hipotez.

Zgodnie z hipotezą H1 studenci pracujący zarobkowo spali krócej (M = 6.76 h, SD = 0.96, n = 92) niż niepracujący (M = 7.03 h, SD = 0.98, n = 122), t(199.01) = 2.07, p = .039. Różnica wyniosła 0.28 h, 95% CI [0.01, 0.54], d = 0.29, 95% CI [0.01, 0.56], co oznacza mały efekt oszacowany nieprecyzyjnie. Zgodnie z hipotezą H2 wynik skali zachowań prozdrowotnych był dodatnio związany z samooceną zdrowia, ρ = .27, p < .001, N = 214. Zgodnie z hipotezą H3 codzienne śniadanie deklarowało więcej osób mieszkających z rodzicami (75.6%, 62 z 82) niż mieszkających poza domem (50.4%, 65 z 129), χ²(1, N = 211) = 13.31, p < .001, φ = .25.

4.5. Analizy eksploracyjne.

W analizie eksploracyjnej porównano kobiety (n = 155) i mężczyzn (n = 55) w 16 pytaniach dotyczących zachowań zdrowotnych (testy chi-kwadrat; cztery osoby, które nie podały płci lub wybrały odpowiedź „inna”, pominięto). Po korekcie Benjaminiego–Hochberga istotne okazały się dwie różnice: mężczyźni częściej pili napoje energetyczne co najmniej raz w tygodniu (50.9% wobec 19.4%), a kobiety częściej były u dentysty w ostatnim roku (75.7% wobec 44.4%; w obu przypadkach skorygowane p < .001). Pozostałe 14 różnic było nieistotnych także bez korekty (p ≥ .220). Wyniki te nie były przedmiotem hipotez i wymagają potwierdzenia w kolejnych badaniach.

Jeśli chcesz, żeby statystyk sprawdził plan analiz przed liczeniem, zajrzyj do oferty analiz statystycznych dla studentów. Decyzje i ich uzasadnienie musisz jednak umieć obronić sam(a).

Najczęstsze błędy

  • Test dla każdego pytania i każdej zmiennej z metryczki. Przy 150 testach średnio 7–8 wyników wyjdzie „istotnych” bez żadnego prawdziwego efektu.
  • Opis tylko wyników istotnych. Czytelnik nie wie, ile testów wykonano, więc nie może ocenić, ile z nich to przypadek. Zawsze podaj liczbę testów w rodzinie.
  • Korekta Bonferroniego na wszystkie testy w pracy naraz. Odbiera moc hipotezom, które były zaplanowane, a nie usuwa problemu złego planu.
  • Testy na pojedynczych pozycjach skali. Pozycje skali łączysz w jeden wynik i dopiero ten wynik analizujesz.
  • Test χ² zgodności dla pytania opisowego „żeby był jakiś test”. Sprawdzanie, czy odpowiedzi „tak” i „nie” są równie częste, zwykle nie odpowiada na żadne pytanie badawcze. Wystarczy odsetek z przedziałem ufności.
  • Trzydzieści wykresów kołowych. Jeden posortowany wykres z przedziałami pokazuje więcej i zajmuje mniej miejsca.
  • Wynik eksploracyjny opisany jak potwierdzona hipoteza albo dopisany do hipotez po fakcie.
  • Odsetki bez mianownika. Gdy część osób pominęła pytanie, w tabeli musi być n dla każdego wiersza.
Przykład reprodukowalny

Ankieta z wieloma pytaniami w R: kod i wynik

Pierwszy skrypt symuluje 1000 ankiet bez żadnego prawdziwego efektu i liczy w każdej 150 testów. Drugi tworzy przykładową ankietę (zapisuje ją do pliku CSV w folderze nadrzędnym, ../), liczy wynik skali i alfę, tabelę zbiorczą z przedziałami Wilsona, testy hipotez H1–H3, eksplorację z korektą oraz – dla porównania – wszystkie 150 testów. Wystarczają funkcje bazowego R. Rysunki powstały w osobnym skrypcie na tych samych wynikach. Dane do pobrania: ankieta-zachowania-zdrowotne-30-pytan.csv.

1. Symulacja: 150 testów, zero efektów

Dane wejściowe: 1000 symulowanych ankiet po 214 osób; 12 pytań porządkowych (10 tworzy skalę), 16 pytań tak/nie, 2 pytania liczbowe, pięć zmiennych metryczki niezależnych od odpowiedzi (set.seed(4291)).

Co odczytać: średnią i rozrzut liczby wyników p < .05, odsetek ankiet z co najmniej 1, 5 i 10 fałszywymi alarmami oraz ten sam odsetek po korekcie Holma i Benjaminiego–Hochberga.

R
# B429 – 30 pytań × 5 zmiennych z metryczki = 150 testów, gdy żaden efekt nie istnieje
# Każda ankieta: 214 osób; 12 pytań porządkowych 1–5 (10 z nich tworzy skalę), 16 pytań tak/nie,
# 2 pytania liczbowe. Metryczka (płeć, wiek, rok studiów, miejsce zamieszkania, praca) jest
# niezależna od wszystkich pytań, więc każdy „istotny” wynik to fałszywy alarm.
set.seed(4291)
n <- 214; powt <- 1000

jedna_ankieta <- function(n) {
  f <- rnorm(n)                                   # wspólny czynnik pozycji skali (pozycje są skorelowane)
  porz <- sapply(1:12, function(j) {
    z <- if (j <= 10) 0.7 * f + rnorm(n, sd = 0.7) else rnorm(n)
    findInterval(z, c(-1.3, -0.4, 0.4, 1.3)) + 1  # odpowiedzi 1–5
  })
  tn <- sapply(1:16, function(j) rbinom(n, 1, runif(1, 0.15, 0.80)))
  licz <- cbind(round(rnorm(n, 7, 1) * 2) / 2, sample(0:7, n, replace = TRUE))
  metr <- data.frame(plec = factor(sample(c("K", "M"), n, TRUE, prob = c(.73, .27))),
                     wiek = round(rnorm(n, 21.5, 1.8)),
                     rok = factor(sample(c("I", "II", "III"), n, TRUE)),
                     zamieszkanie = factor(sample(c("rodzice", "akademik", "wynajem"), n, TRUE, prob = c(.35, .25, .40))),
                     praca = factor(sample(c("tak", "nie"), n, TRUE, prob = c(.4, .6))))
  list(porz = porz, tn = tn, licz = licz, metr = metr)
}

# test, który student wybrałby dla danej pary zmiennych
test_p <- function(y, typ, x) {
  if (is.numeric(x)) {                            # wiek
    if (typ == "tn") return(wilcox.test(x ~ y, exact = FALSE)$p.value)
    return(cor.test(y, x, method = if (typ == "porz") "spearman" else "pearson", exact = FALSE)$p.value)
  }
  dwie <- nlevels(x) == 2
  if (typ == "tn") return(suppressWarnings(chisq.test(table(y, x), correct = FALSE)$p.value))
  if (typ == "porz") return(if (dwie) wilcox.test(y ~ x, exact = FALSE)$p.value else kruskal.test(y ~ x)$p.value)
  if (dwie) t.test(y ~ x)$p.value else oneway.test(y ~ x)$p.value
}

wszystkie_p <- function(a) {
  pyt <- c(lapply(1:12, function(j) list(a$porz[, j], "porz")),
           lapply(1:16, function(j) list(a$tn[, j], "tn")),
           lapply(1:2, function(j) list(a$licz[, j], "licz")))
  unlist(lapply(pyt, function(q) sapply(a$metr, function(x) test_p(q[[1]], q[[2]], x))))
}

p1 <- wszystkie_p(jedna_ankieta(n))
cat("Liczba testów w jednej ankiecie:", length(p1), "\n")
cat("Jedna ankieta: wyników p < .05 =", sum(p1 < .05), "; najmniejsze p =", sub("^0", "", sprintf("%.3f", min(p1))), "\n\n")

wyn <- t(replicate(powt, {
  p <- wszystkie_p(jedna_ankieta(n))
  c(bez = sum(p < .05), holm = sum(p.adjust(p, "holm") < .05), bh = sum(p.adjust(p, "BH") < .05))
}))

cat("SYMULACJA:", powt, "ankiet, w każdej 150 testów i zero prawdziwych efektów\n")
cat(sprintf("Średnia liczba fałszywych alarmów: %.2f (SD = %.2f; oczekiwana 150 × .05 = 7.5)\n",
            mean(wyn[, "bez"]), sd(wyn[, "bez"])))
cat(sprintf("Dla 150 niezależnych testów SD wynosiłoby %.2f (rozkład dwumianowy)\n", sqrt(150 * .05 * .95)))
cat("Mediana:", median(wyn[, "bez"]), "; 90% ankiet miało od", quantile(wyn[, "bez"], .05),
    "do", quantile(wyn[, "bez"], .95), "fałszywych alarmów\n")
cat(sprintf("Odsetek ankiet z co najmniej 1 / 5 / 10 fałszywymi alarmami: %.1f%% / %.1f%% / %.1f%%\n",
            100 * mean(wyn[, "bez"] >= 1), 100 * mean(wyn[, "bez"] >= 5), 100 * mean(wyn[, "bez"] >= 10)))
cat(sprintf("Po poprawce Holma – co najmniej 1 fałszywy alarm: %.1f%%\n", 100 * mean(wyn[, "holm"] >= 1)))
cat(sprintf("Po procedurze Benjaminiego–Hochberga – co najmniej 1: %.1f%%\n\n", 100 * mean(wyn[, "bh"] >= 1)))
cat("Rozkład liczby fałszywych alarmów (bez poprawki):\n")
print(table(cut(wyn[, "bez"], c(-1, 2, 4, 6, 8, 10, 12, 14, 100),
                labels = c("0–2", "3–4", "5–6", "7–8", "9–10", "11–12", "13–14", "15+"))))
write.csv(data.frame(powtorzenie = 1:powt, wyn), "b429-symulacja.csv", row.names = FALSE)
Wynik w R
Liczba testów w jednej ankiecie: 150 
Jedna ankieta: wyników p < .05 = 12 ; najmniejsze p = .001 

SYMULACJA: 1000 ankiet, w każdej 150 testów i zero prawdziwych efektów
Średnia liczba fałszywych alarmów: 7.61 (SD = 3.15; oczekiwana 150 × .05 = 7.5)
Dla 150 niezależnych testów SD wynosiłoby 2.67 (rozkład dwumianowy)
Mediana: 7 ; 90% ankiet miało od 3 do 13 fałszywych alarmów
Odsetek ankiet z co najmniej 1 / 5 / 10 fałszywymi alarmami: 99.9% / 85.2% / 25.3%
Po poprawce Holma – co najmniej 1 fałszywy alarm: 4.2%
Po procedurze Benjaminiego–Hochberga – co najmniej 1: 4.3%

Rozkład liczby fałszywych alarmów (bez poprawki):

  0–2   3–4   5–6   7–8  9–10 11–12 13–14   15+ 
   34   114   240   261   173   113    40    25 

2. Przykładowa ankieta: tabela zbiorcza, hipotezy i eksploracja

Dane wejściowe: ankieta „Zachowania zdrowotne studentów”, 214 osób, 30 pytań i metryczka (dane symulowane, set.seed(429)); w danych wbudowano cztery prawdziwe związki z metryczką.

Co odczytać: strukturę próby, alfę i wynik skali, tabelę zbiorczą 16 pytań z 95% CI, wyniki H1–H3, porównanie płci z korektą BH i Holma oraz listę 12 wyników istotnych spośród 150 testów z informacją, które związki są prawdziwe.

R
# B429 – ankieta „Zachowania zdrowotne studentów” (dane symulowane): 30 pytań + metryczka (5 zmiennych)
# Plan: skala q01–q10 → jeden wynik; 16 pytań tak/nie → tabela zbiorcza bez testów;
# H1–H3 → po jednym teście; płeć × 16 pytań tak/nie → analiza eksploracyjna z FDR.
set.seed(429)
fp <- function(p) ifelse(p < .001, "< .001", sub("^0", "", sprintf("%.3f", p)))   # zapis p jak w APA
pz <- function(p) ifelse(p < .001, "< .001", paste("=", fp(p))) # „p = .039” albo „p < .001”
n <- 214
d <- data.frame(id = 1:n,
  plec = sample(c("Kobieta", "Mężczyzna", "Inna / wolę nie podawać"), n, TRUE, prob = c(.72, .26, .02)),
  wiek = pmin(pmax(round(rnorm(n, 21.6, 1.9)), 19), 30),
  rok = sample(c("I", "II", "III"), n, TRUE, prob = c(.36, .34, .30)),
  zamieszkanie = sample(c("Z rodzicami", "Akademik", "Wynajem"), n, TRUE, prob = c(.35, .25, .40)),
  praca = sample(c("Tak", "Nie"), n, TRUE, prob = c(.42, .58)))
M <- d$plec == "Mężczyzna"

# q01–q10: skala zachowań prozdrowotnych (1–5), q04 i q08 sformułowane odwrotnie
f <- rnorm(n)
for (j in 1:10) {
  z <- 0.75 * f + rnorm(n, sd = 0.65)
  if (j %in% c(4, 8)) z <- -z
  d[[sprintf("q%02d", j)]] <- findInterval(z, c(-1.4, -0.45, 0.35, 1.25)) + 1
}
# 16 pytań tak/nie (1 = tak); w danych prawdziwe są tylko trzy związki z metryczką
tak <- function(p) rbinom(n, 1, p)
d$q11_sniadanie   <- tak(ifelse(d$zamieszkanie == "Z rodzicami", .70, .50))   # H3
d$q12_papierosy   <- tak(.14)
d$q13_epapierosy  <- tak(.19)
d$q14_alkohol_tydz <- tak(.38)
d$q15_energetyki  <- tak(ifelse(M, .50, .22))                               # różnica płci (prawdziwa)
d$q16_pieszo_rower <- tak(.46)
d$q18_aplikacja   <- tak(.41)
d$q19_dentysta    <- tak(ifelse(M, .48, .72))                               # różnica płci (prawdziwa)
d$q20_badania     <- tak(.33)
d$q21_grypa       <- tak(.12)
d$q22_woda        <- tak(.57)
d$q23_warzywa     <- tak(.44)
d$q24_fastfood    <- tak(.36)
d$q25_ekran       <- tak(.74)
d$q26_pomoc_psych <- tak(.29)
d$q30_mniej_snu   <- tak(.63)
# pytania liczbowe i porządkowe
d$q17_sen_h <- round(pmin(pmax(rnorm(n, ifelse(d$praca == "Tak", 6.6, 7.0), 1.0), 4), 10) * 2) / 2   # H1
d$q27_zdrowie <- findInterval(0.45 * f + rnorm(n, sd = 0.9), c(-1.6, -0.6, 0.4, 1.4)) + 1        # H2
d$q28_stres <- findInterval(rnorm(n), c(-1.3, -0.4, 0.4, 1.3)) + 1
d$q29_dni_aktywnosci <- sample(0:7, n, TRUE, prob = c(.12, .14, .17, .17, .14, .11, .08, .07))
# braki pojedynczych odpowiedzi (0–3% w pytaniu)
tn <- c("q11_sniadanie", "q12_papierosy", "q13_epapierosy", "q14_alkohol_tydz", "q15_energetyki",
        "q16_pieszo_rower", "q18_aplikacja", "q19_dentysta", "q20_badania", "q21_grypa", "q22_woda",
        "q23_warzywa", "q24_fastfood", "q25_ekran", "q26_pomoc_psych", "q30_mniej_snu")
for (v in tn) d[[v]][sample(n, sample(0:6, 1))] <- NA
write.csv(d, "../ankieta-zachowania-zdrowotne-30-pytan.csv", row.names = FALSE, na = "")

cat("1. PRÓBA\n")
cat("N =", n, "; wiek M =", sprintf("%.2f", mean(d$wiek)), ", SD =", sprintf("%.2f", sd(d$wiek)), "\n")
for (v in c("plec", "praca", "zamieszkanie", "rok"))
  print(cbind(n = table(d[[v]]), proc = round(100 * prop.table(table(d[[v]])), 1)))

cat("\n2. SKALA q01–q10: jeden wynik zamiast 10 pytań\n")
poz <- d[, sprintf("q%02d", 1:10)]
poz$q04 <- 6 - poz$q04; poz$q08 <- 6 - poz$q08
k <- ncol(poz)
alfa <- k / (k - 1) * (1 - sum(apply(poz, 2, var)) / var(rowSums(poz)))
d$skala <- rowMeans(poz)
cat(sprintf("alfa Cronbacha = %.2f; wynik skali M = %.2f, SD = %.2f, zakres %.1f–%.1f\n",
            alfa, mean(d$skala), sd(d$skala), min(d$skala), max(d$skala)))

cat("\n3. TABELA ZBIORCZA: 16 pytań tak/nie, % z 95% CI Wilsona (bez testów)\n")
etyk <- c("Codzienne śniadanie", "Palenie papierosów", "E-papierosy", "Alkohol co najmniej raz w tygodniu",
          "Napoje energetyczne co najmniej raz w tygodniu", "Dojazd pieszo lub rowerem",
          "Aplikacja do monitorowania zdrowia", "Wizyta u dentysty w ostatnim roku",
          "Badania krwi w ostatnim roku", "Szczepienie przeciw grypie w ostatnim sezonie",
          "Co najmniej 1.5 l wody dziennie", "Warzywa codziennie", "Fast food co najmniej raz w tygodniu",
          "Ekran ponad godzinę przed snem", "Kontakt z pomocą psychologiczną (kiedykolwiek)",
          "Skracanie snu z powodu nauki (ostatni miesiąc)")
tab <- do.call(rbind, lapply(seq_along(tn), function(i) {
  x <- d[[tn[i]]]; nn <- sum(!is.na(x)); k1 <- sum(x, na.rm = TRUE)
  ci <- prop.test(k1, nn, correct = FALSE)$conf.int            # przedział Wilsona
  data.frame(pytanie = etyk[i], n = nn, tak = k1, proc = round(100 * k1 / nn, 1),
             ci_d = round(100 * ci[1], 1), ci_g = round(100 * ci[2], 1))
}))
tab <- tab[order(-tab$proc), ]; rownames(tab) <- NULL
print(tab)
write.csv(tab, "b429-tabela-zbiorcza.csv", row.names = FALSE)

cat("\nZmienne liczbowe i porządkowe (M, SD, Me)\n")
for (v in c("q17_sen_h", "q29_dni_aktywnosci", "q27_zdrowie", "q28_stres"))
  cat(sprintf("%-20s M = %.2f, SD = %.2f, Me = %.1f\n", v, mean(d[[v]]), sd(d[[v]]), median(d[[v]])))

cat("\n4. HIPOTEZY (trzy osobne hipotezy, każda jednym testem; bez poprawki)\n")
h1 <- t.test(q17_sen_h ~ praca, data = d)                       # Welch
m <- tapply(d$q17_sen_h, d$praca, mean); s <- tapply(d$q17_sen_h, d$praca, sd); nn <- table(d$praca)
sp <- sqrt(((nn[1] - 1) * s[1]^2 + (nn[2] - 1) * s[2]^2) / (sum(nn) - 2))
dc <- unname((m["Nie"] - m["Tak"]) / sp)
se_d <- sqrt(sum(nn) / prod(nn) + dc^2 / (2 * sum(nn)))
cat(sprintf("H1 sen: pracujący M = %.2f (SD = %.2f, n = %d), niepracujący M = %.2f (SD = %.2f, n = %d)\n",
            m["Tak"], s["Tak"], nn["Tak"], m["Nie"], s["Nie"], nn["Nie"]))
cat(sprintf("   t(%.2f) = %.2f, p %s, różnica = %.2f h, 95%% CI [%.2f, %.2f], d = %.2f, 95%% CI [%.2f, %.2f]\n",
            h1$parameter, abs(h1$statistic), pz(h1$p.value),
            m["Nie"] - m["Tak"], h1$conf.int[1], h1$conf.int[2], dc, dc - 1.96 * se_d, dc + 1.96 * se_d))
h2 <- cor.test(d$skala, d$q27_zdrowie, method = "spearman", exact = FALSE)
cat(sprintf("H2 skala a samoocena zdrowia: rho = %.2f, p %s, n = %d\n", h2$estimate, pz(h2$p.value), n))
grupa3 <- ifelse(d$zamieszkanie == "Z rodzicami", "Z rodzicami", "Poza domem")
t3 <- table(grupa3, d$q11_sniadanie)
h3 <- chisq.test(t3, correct = FALSE)
pr <- prop.table(t3, 1)[, "1"]
cat(sprintf("H3 śniadanie: z rodzicami %.1f%% (%d/%d), poza domem %.1f%% (%d/%d)\n",
            100 * pr["Z rodzicami"], t3["Z rodzicami", "1"], sum(t3["Z rodzicami", ]),
            100 * pr["Poza domem"], t3["Poza domem", "1"], sum(t3["Poza domem", ])))
cat(sprintf("   chi2(1, N = %d) = %.2f, p %s, phi = %.2f\n", sum(t3), h3$statistic, pz(h3$p.value),
            sqrt(h3$statistic / sum(t3))))

cat("\n5. ANALIZA EKSPLORACYJNA: płeć × 16 pytań tak/nie, korekta Benjaminiego–Hochberga\n")
km <- d$plec != "Inna / wolę nie podawać"
eks <- do.call(rbind, lapply(seq_along(tn), function(i) {
  t2 <- table(d$plec[km], d[[tn[i]]][km])
  data.frame(pytanie = etyk[i], K = round(100 * prop.table(t2, 1)["Kobieta", "1"], 1),
             M = round(100 * prop.table(t2, 1)["Mężczyzna", "1"], 1),
             p = suppressWarnings(chisq.test(t2, correct = FALSE)$p.value))
}))
eks$p_BH <- p.adjust(eks$p, "BH"); eks$p_Holm <- p.adjust(eks$p, "holm")
eks <- eks[order(eks$p), ]; rownames(eks) <- NULL
cat("p < .05 bez korekty:", sum(eks$p < .05), "; po BH:", sum(eks$p_BH < .05), "; po Holmie:", sum(eks$p_Holm < .05), "\n")
eks[c("p", "p_BH", "p_Holm")] <- lapply(eks[c("p", "p_BH", "p_Holm")], fp)
print(head(eks, 6))

cat("\n6. GDYBY POLICZYĆ WSZYSTKO: 30 pytań × 5 zmiennych z metryczki\n")
pyt <- c(sprintf("q%02d", 1:10), tn, "q17_sen_h", "q27_zdrowie", "q28_stres", "q29_dni_aktywnosci")
typ <- c(rep("porz", 10), rep("tn", 16), "licz", "porz", "porz", "licz")
metr <- data.frame(plec = factor(ifelse(km, d$plec, NA)), wiek = d$wiek, rok = factor(d$rok),
                   zamieszkanie = factor(d$zamieszkanie), praca = factor(d$praca))
test_p <- function(y, typ, x) {
  if (is.numeric(x)) {
    if (typ == "tn") return(wilcox.test(x ~ y, exact = FALSE)$p.value)
    return(cor.test(y, x, method = if (typ == "porz") "spearman" else "pearson", exact = FALSE)$p.value)
  }
  dwie <- nlevels(x) == 2
  if (typ == "tn") return(suppressWarnings(chisq.test(table(y, x), correct = FALSE)$p.value))
  if (typ == "porz") return(if (dwie) wilcox.test(y ~ x, exact = FALSE)$p.value else kruskal.test(y ~ x)$p.value)
  if (dwie) t.test(y ~ x)$p.value else oneway.test(y ~ x)$p.value
}
wsz <- expand.grid(metr = names(metr), pytanie = pyt, stringsAsFactors = FALSE)
wsz$p <- mapply(function(q, m) test_p(d[[q]], typ[match(q, pyt)], metr[[m]]), wsz$pytanie, wsz$metr)
prawdziwe <- paste(c("q11_sniadanie", "q15_energetyki", "q19_dentysta", "q17_sen_h"),
                   c("zamieszkanie", "plec", "plec", "praca"))
wsz$prawdziwy <- paste(wsz$pytanie, wsz$metr) %in% prawdziwe
ist <- wsz[wsz$p < .05, ]; ist <- ist[order(ist$p), ]; ist$p <- fp(ist$p); rownames(ist) <- NULL
cat("Testów:", nrow(wsz), "; p < .05:", nrow(ist), "; w tym prawdziwych związków:", sum(ist$prawdziwy),
    "; fałszywych alarmów:", sum(!ist$prawdziwy), "\n")
print(ist)
cat("Po korekcie BH dla wszystkich 150 testów istotne:", sum(p.adjust(wsz$p, "BH") < .05), "\n")
Wynik w R
1. PRÓBA
N = 214 ; wiek M = 21.79 , SD = 1.81 
                          n proc
Inna / wolę nie podawać   4  1.9
Kobieta                 155 72.4
Mężczyzna                55 25.7
      n proc
Nie 122   57
Tak  92   43
             n proc
Akademik    60 28.0
Wynajem     72 33.6
Z rodzicami 82 38.3
     n proc
I   77 36.0
II  66 30.8
III 71 33.2

2. SKALA q01–q10: jeden wynik zamiast 10 pytań
alfa Cronbacha = 0.92; wynik skali M = 3.03, SD = 0.81, zakres 1.0–5.0

3. TABELA ZBIORCZA: 16 pytań tak/nie, % z 95% CI Wilsona (bez testów)
                                          pytanie   n tak proc ci_d ci_g
1                  Ekran ponad godzinę przed snem 209 151 72.2 65.8 77.9
2               Wizyta u dentysty w ostatnim roku 210 142 67.6 61.0 73.6
3  Skracanie snu z powodu nauki (ostatni miesiąc) 211 134 63.5 56.8 69.7
4                 Co najmniej 1.5 l wody dziennie 208 131 63.0 56.2 69.3
5                             Codzienne śniadanie 211 127 60.2 53.5 66.6
6                              Warzywa codziennie 210  95 45.2 38.7 52.0
7                       Dojazd pieszo lub rowerem 210  89 42.4 35.9 49.1
8              Alkohol co najmniej raz w tygodniu 212  84 39.6 33.3 46.3
9  Kontakt z pomocą psychologiczną (kiedykolwiek) 209  72 34.4 28.3 41.1
10                   Badania krwi w ostatnim roku 211  71 33.6 27.6 40.3
11           Fast food co najmniej raz w tygodniu 210  70 33.3 27.3 40.0
12             Aplikacja do monitorowania zdrowia 208  67 32.2 26.2 38.8
13 Napoje energetyczne co najmniej raz w tygodniu 214  61 28.5 22.9 34.9
14  Szczepienie przeciw grypie w ostatnim sezonie 209  35 16.7 12.3 22.4
15                                    E-papierosy 211  34 16.1 11.8 21.7
16                             Palenie papierosów 211  27 12.8  8.9 18.0

Zmienne liczbowe i porządkowe (M, SD, Me)
q17_sen_h            M = 6.91, SD = 0.98, Me = 7.0
q29_dni_aktywnosci   M = 2.98, SD = 2.12, Me = 3.0
q27_zdrowie          M = 3.06, SD = 0.95, Me = 3.0
q28_stres            M = 3.02, SD = 1.17, Me = 3.0

4. HIPOTEZY (trzy osobne hipotezy, każda jednym testem; bez poprawki)
H1 sen: pracujący M = 6.76 (SD = 0.96, n = 92), niepracujący M = 7.03 (SD = 0.98, n = 122)
   t(199.01) = 2.07, p = .039, różnica = 0.28 h, 95% CI [0.01, 0.54], d = 0.29, 95% CI [0.01, 0.56]
H2 skala a samoocena zdrowia: rho = 0.27, p < .001, n = 214
H3 śniadanie: z rodzicami 75.6% (62/82), poza domem 50.4% (65/129)
   chi2(1, N = 211) = 13.31, p < .001, phi = 0.25

5. ANALIZA EKSPLORACYJNA: płeć × 16 pytań tak/nie, korekta Benjaminiego–Hochberga
p < .05 bez korekty: 2 ; po BH: 2 ; po Holmie: 2 
                                         pytanie    K    M      p   p_BH p_Holm
1 Napoje energetyczne co najmniej raz w tygodniu 19.4 50.9 < .001 < .001 < .001
2              Wizyta u dentysty w ostatnim roku 75.7 44.4 < .001 < .001 < .001
3 Kontakt z pomocą psychologiczną (kiedykolwiek) 36.4 27.3   .220   .979  1.000
4  Szczepienie przeciw grypie w ostatnim sezonie 15.1 20.8   .343   .979  1.000
5             Alkohol co najmniej raz w tygodniu 41.6 35.2   .411   .979  1.000
6 Skracanie snu z powodu nauki (ostatni miesiąc) 62.3 67.9   .465   .979  1.000

6. GDYBY POLICZYĆ WSZYSTKO: 30 pytań × 5 zmiennych z metryczki
Testów: 150 ; p < .05: 12 ; w tym prawdziwych związków: 4 ; fałszywych alarmów: 8 
           metr            pytanie      p prawdziwy
1          plec     q15_energetyki < .001      TRUE
2          plec       q19_dentysta < .001      TRUE
3  zamieszkanie      q11_sniadanie   .001      TRUE
4          wiek     q13_epapierosy   .032     FALSE
5           rok      q30_mniej_snu   .033     FALSE
6         praca          q17_sen_h   .039      TRUE
7  zamieszkanie q29_dni_aktywnosci   .041     FALSE
8          plec        q27_zdrowie   .041     FALSE
9         praca        q27_zdrowie   .042     FALSE
10 zamieszkanie      q30_mniej_snu   .047     FALSE
11 zamieszkanie                q02   .048     FALSE
12         wiek          q25_ekran   .049     FALSE
Po korekcie BH dla wszystkich 150 testów istotne: 2 

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje pakietów base i stats); rysunki przygotowano w pakietach ggplot2 i svglite. W pracy podaj wersje faktycznie użytych programów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An ‘SVG’ graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Zanim oddasz rozdział wyników ankiety, sprawdź…

  • Czy każde pytanie ankiety ma przypisaną rolę: metryczka, pozycja skali, pytanie opisowe, zmienna z hipotezy albo eksploracja?
  • Czy liczba testów wynika z hipotez, a nie z liczby pytań razy liczba zmiennych w metryczce?
  • Czy pytania opisowe są w tabeli zbiorczej z n, odsetkiem i 95% przedziałem ufności, posortowanej malejąco?
  • Czy pozycje skali są połączone w jeden wynik z podaną rzetelnością?
  • Czy przy każdej hipotezie jest test, dokładne p i wielkość efektu z przedziałem ufności?
  • Czy w metodzie napisałeś(-aś), czy i dlaczego stosujesz korektę na wielokrotne testowanie?
  • Czy analizy eksploracyjne są w osobnym podrozdziale, z liczbą testów, korektą i zastrzeżeniem, że wymagają potwierdzenia?
  • Czy pełne rozkłady pozostałych pytań są w aneksie zamiast w kilkudziesięciu wykresach kołowych?

Najczęstsze pytania

Czy w pracy dyplomowej trzeba policzyć test dla każdego pytania ankiety?

Nie. Test odpowiada na pytanie o różnicę albo związek, więc liczysz go tylko tam, gdzie takie pytanie postawiłeś w hipotezie. Pytania opisowe („jak często…”, „ile osób…”) opisujesz odsetkiem z 95% przedziałem ufności, a pozycje skali łączysz w jeden wynik. W przykładzie z tego wpisu 30 pytań dało 3 testy hipotez i 16 testów eksploracyjnych zamiast 150.

Ile fałszywie istotnych wyników daje 150 testów na poziomie .05?

Średnio około 7.5, bo 150 × .05 = 7.5. W symulacji 1000 ankiet bez żadnego prawdziwego efektu średnia wyniosła 7.6, a w 90% ankiet było od 3 do 13 „istotnych” wyników. Co najmniej jeden fałszywy alarm pojawił się w 99.9% ankiet, więc pojedyncze p < .05 wyłowione z takiej serii niczego nie dowodzi.

Czy można dać poprawkę Bonferroniego na wszystkie testy z ankiety naraz?

Można, ale zwykle to zły pomysł. Korekta wszystkich 150 testów chroni przed fałszywymi alarmami, lecz zabiera moc testom, które naprawdę wynikają z hipotez – w przykładzie po korekcie zniknął prawdziwy efekt dla H1. Lepiej ograniczyć liczbę testów planem, hipotezy testować bez korekty (każda to osobny wniosek), a korektę zastosować do rodziny analiz eksploracyjnych.

Jak przedstawić odpowiedzi na kilkanaście pytań tak/nie w rozdziale wyników?

W jednej tabeli zbiorczej: pytanie, liczba osób, które odpowiedziały, odsetek odpowiedzi „tak” i 95% przedział ufności, wiersze posortowane malejąco. Zamiast kilkunastu wykresów kołowych wystarczy jeden wykres punktowy z przedziałami. W nocie podaj mianownik i metodę przedziału (np. Wilsona).

Gdzie w pracy opisać wyniki, których nie było w hipotezach?

W osobnym, ostatnim podrozdziale wyników, zatytułowanym np. „Analizy eksploracyjne”. Napisz, ile testów wykonano, jaką korektę zastosowano i że wyniki wymagają potwierdzenia w kolejnym badaniu. Nie przenoś ich do hipotez – to byłby HARKing.

Powiązane hasła

Przeczytaj też

Masz ankietę z kilkudziesięcioma pytaniami i nie wiesz, co policzyć?

Pomożemy przypisać pytania do hipotez, ułożyć plan analiz i tabele zbiorcze, policzymy testy w R lub SPSS i wyjaśnimy wyniki tak, żebyś umiał(a) samodzielnie je opisać i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report. American Psychologist, 73(1), 3–25. https://doi.org/10.1037/amp0000191 ● Otwarty dostęp
  2. Armstrong, R. A. (2014). When to use the Bonferroni correction. Ophthalmic and Physiological Optics, 34(5), 502–508. https://doi.org/10.1111/opo.12131
  3. Bender, R., & Lange, S. (2001). Adjusting for multiple testing—When and how? Journal of Clinical Epidemiology, 54(4), 343–349. https://doi.org/10.1016/S0895-4356(00)00314-0
  4. Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B (Methodological), 57(1), 289–300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
  5. Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101–133. https://doi.org/10.1214/ss/1009213286
  6. Rubin, M. (2021). When to adjust alpha during multiple testing: A consideration of disjunction, conjunction, and individual testing. Synthese, 199(3–4), 10969–11000. https://doi.org/10.1007/s11229-021-03276-4 ● Otwarty dostęp: pełny tekst
  7. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
  8. Wagenmakers, E.-J., Wetzels, R., Borsboom, D., van der Maas, H. L. J., & Kievit, R. A. (2012). An agenda for purely confirmatory research. Perspectives on Psychological Science, 7(6), 632–638. https://doi.org/10.1177/1745691612463078

Cytowania BibTeX

@article{appelbaum2018journal, author={Appelbaum, Mark and Cooper, Harris and Kline, Rex B. and Mayo-Wilson, Evan and Nezu, Arthur M. and Rao, Stephen M.}, title={{Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report}}, journal={American Psychologist}, year={2018}, volume={73}, number={1}, pages={3--25}, doi={10.1037/amp0000191}}
@article{armstrong2014when, author={Armstrong, Richard A.}, title={{When to use the Bonferroni correction}}, journal={Ophthalmic and Physiological Optics}, year={2014}, volume={34}, number={5}, pages={502--508}, doi={10.1111/opo.12131}}
@article{bender2001adjusting, author={Bender, Ralf and Lange, Stefan}, title={{Adjusting for multiple testing—When and how?}}, journal={Journal of Clinical Epidemiology}, year={2001}, volume={54}, number={4}, pages={343--349}, doi={10.1016/s0895-4356(00)00314-0}}
@article{benjamini1995controlling, author={Benjamini, Yoav and Hochberg, Yosef}, title={{Controlling the false discovery rate: A practical and powerful approach to multiple testing}}, journal={Journal of the Royal Statistical Society: Series B (Methodological)}, year={1995}, volume={57}, number={1}, pages={289--300}, doi={10.1111/j.2517-6161.1995.tb02031.x}}
@article{brown2001interval, author={Brown, Lawrence D. and Cai, T. Tony and DasGupta, Anirban}, title={{Interval estimation for a binomial proportion}}, journal={Statistical Science}, year={2001}, volume={16}, number={2}, pages={101--133}, doi={10.1214/ss/1009213286}}
@article{rubin2021when, author={Rubin, Mark}, title={{When to adjust alpha during multiple testing: A consideration of disjunction, conjunction, and individual testing}}, journal={Synthese}, year={2021}, volume={199}, number={3–4}, pages={10969--11000}, doi={10.1007/s11229-021-03276-4}}
@article{simmons2011false, author={Simmons, Joseph P. and Nelson, Leif D. and Simonsohn, Uri}, title={{False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant}}, journal={Psychological Science}, year={2011}, volume={22}, number={11}, pages={1359--1366}, doi={10.1177/0956797611417632}}
@article{wagenmakers2012agenda, author={Wagenmakers, Eric-Jan and Wetzels, Ruud and Borsboom, Denny and van der Maas, Han L. J. and Kievit, Rogier A.}, title={{An agenda for purely confirmatory research}}, journal={Perspectives on Psychological Science}, year={2012}, volume={7}, number={6}, pages={632--638}, doi={10.1177/1745691612463078}}
R