Prace dyplomowe · Liczebność próby

Analiza na małej próbie – co wolno, a czego nie

Dwadzieścia osób to dla testu statystycznego bardzo mało informacji. Pokazujemy na pilotażu 10 + 10, jakie efekty da się wykazać przy 10–30 osobach, dlaczego wynik istotny przeszacowuje efekt, co naprawdę dają test permutacyjny, test Fishera i bootstrap oraz jak uczciwie opisać małą próbę w pracy.

Strona główna / Blog / Analiza na małej próbie
W skrócie: Przy 10 osobach w grupie test t ma moc .80 dopiero dla efektu d = 1.32, a efekt umiarkowany wykrywa w 18% badań. Wynik istotny z tak małej próby zwykle przeszacowuje efekt. Test permutacyjny i test Fishera są dokładne, ale nie zwiększają mocy, a przy 3 + 3 osobach nie mogą dać p < .05. Bootstrap percentylowy zaniża wtedy niepewność. Zamiast „brak istotności” podawaj wielkość efektu z 95% CI, a w ograniczeniach napisz, jaki najmniejszy efekt badanie mogło wykryć.

Kiedy próba jest „mała”

Nie ma progu, poniżej którego próba staje się mała. Dwadzieścia osób może wystarczyć, żeby opisać jedną grupę albo wykazać bardzo duży efekt, ale zwykle nie wystarczy, żeby wykazać umiarkowaną różnicę między dwiema grupami. O tym, czy próba jest za mała, decyduje pytanie badawcze i wielkość efektu, której szukasz. Dlatego w tym wpisie „mała próba” oznacza 10–30 osób w grupie albo w całym badaniu. Taka liczba często zostaje po pilotażu, w badaniu jednej klasy, jednego oddziału szpitalnego albo w trudno dostępnej grupie.

Tu nie liczymy, ile osób potrzebujesz – to opisują wpisy ile osób do ankiety w pracy licencjackiej i dobór liczebności próby oraz kalkulator liczebności próby. Ten wpis jest dla sytuacji, w której dane już masz albo więcej osób po prostu nie ma. Lakens (2022) uznaje ograniczone zasoby za uprawnione uzasadnienie liczebności, pod warunkiem że pokażesz, co taka próba może, a czego nie może wykazać. Tym się tu zajmujemy.

Przykład: pilotaż treningu uważności na 20 osobach

Studentka sprawdza w pilotażu czterotygodniowy trening uważności. Dziesięć osób losowo trafia do treningu, dziesięć do grupy kontrolnej. Po czterech tygodniach mierzy stres na skali 0–40 i pyta, czy ktoś ma problemy ze snem (tak/nie). Dane są symulowane i można je pobrać w pliku CSV. Wszystkie liczby w tekście pochodzą z kodu na końcu strony.

W grupie kontrolnej średni stres wyniósł M = 22.80 (SD = 6.37), a po treningu M = 15.70 (SD = 7.33). Test t Welcha: różnica −7.10 punktu, 95% CI [−13.56, −0.64], t(17.66) = −2.31, p = .033, d Cohena = −1.03, 95% CI [−1.96, −0.08]. Wynik jest istotny, a efekt „duży”. Brzmi świetnie, ale przy 20 osobach trzeba go czytać ostrożniej niż przy 200.

Co realnie da się wykazać przy 10–30 osobach

Moc testu to szansa, że badanie wykaże efekt, który naprawdę istnieje. Tabela 1 pokazuje, jak wygląda ona przy małych grupach w porównaniu dwóch grup testem t. Ostatni wiersz to dla porównania liczebność, która daje moc .80 dla efektu umiarkowanego.

Tabela 1. Moc testu t i szerokość przedziału ufności dla d przy dwóch równych grupach (α = .05, dwustronnie)
n w grupieNajmniejsze d wykrywalne z mocą .80Moc dla d = 0.5Moc dla d = 0.895% CI, gdy z próby wyjdzie d = 0.5
101.32.18.39[−0.40, 1.38]
151.06.26.56[−0.23, 1.22]
200.91.34.69[−0.13, 1.13]
300.74.48.86[−0.02, 1.01]
640.50.80.99[0.15, 0.85]

Przy 10 osobach w grupie badanie ma 18% szans na wykrycie efektu umiarkowanego i 39% na wykrycie dużego. Z mocą .80 wykryje dopiero efekt d = 1.32, czyli różnicę większą niż jedno odchylenie standardowe. Nawet przy 30 osobach w grupie umiarkowany efekt wykryjesz rzadziej niż w co drugim badaniu. Ostatnia kolumna pokazuje drugą stronę tego samego problemu. Jeśli z próby wyjdzie d = 0.5, to przy 10 osobach w grupie przedział ufności sięga od małego efektu przeciwnego do bardzo dużego. Takie badanie niewiele mówi o wielkości efektu.

Wykres liniowy. Na osi poziomej liczba osób w każdej grupie od 5 do 80, na pionowej d Cohena. Niebieska krzywa: najmniejsze d wykrywalne z mocą .80 – 1.32 przy 10 osobach, 0.91 przy 20, 0.74 przy 30 i 0.50 przy 64. Czerwona krzywa: połowa szerokości 95-procentowego przedziału ufności dla d – 0.88, 0.62, 0.51 i 0.35. Zakres 10–30 osób zaznaczony szarym tłem, linie pomocnicze przy d = 0.2, 0.5 i 0.8.
Rysunek 1. Najmniejszy efekt wykrywalny z mocą .80 i połowa szerokości 95% CI dla d w zależności od liczby osób w grupie. Dwie równe grupy, test t, α = .05. Obliczenia: R.

Z korelacją jest podobnie. Przy N = 20 test z mocą .80 wykryje dopiero r = .59, a przy N = 30 – r = .49. Wynik r = .30 przy 30 osobach ma 95% CI [−.07, .60]. Dla porównania korelację .30 z mocą .80 wykrywa się przy 85 osobach. Przedział dla własnych danych policzysz w kalkulatorze przedziału ufności.

Wynik istotny przy małej próbie też bywa mylący

Mała próba szkodzi nie tylko przez to, że łatwo przeoczyć efekt. Button i in. (2013) pokazali, że przy niskiej mocy maleje też szansa, że wynik istotny odzwierciedla prawdziwy efekt, a wielkości efektów bywają przeszacowane. Gelman i Carlin (2014) nazwali to błędem typu M (od magnitude): spośród hałaśliwych badań próg istotności przechodzą tylko te, w których efekt wyszedł przypadkiem duży.

Sprawdziliśmy to w symulacji. Przy prawdziwym d = 0.5 i 10 osobach w grupie istotnych było 18.4% z 20 000 badań. Średnie d wśród nich wyniosło 1.24, czyli 2.49 raza więcej niż prawda. Najmniejsze istotne d to 0.94. Mniejszy efekt przy tej liczebności po prostu nie może być istotny. Rysunek 2 pokazuje 25 takich badań. Istotne są dwa i oba przeszacowują efekt.

Wykres 25 poziomych odcinków. Każdy to d Cohena z 95-procentowym przedziałem ufności z jednego symulowanego badania z 10 osobami w każdej grupie. Pionowa ciągła linia przy prawdziwym d = 0.50, przerywana przy zerze. Wyniki z próby rozrzucone od −0.09 do 1.27, przedziały mają średnio 1.79 szerokości. Dwa badania na czerwono są istotne, oba z d powyżej 1, pozostałe 23 na szaro są nieistotne.
Rysunek 2. To samo badanie (10 + 10 osób, prawdziwe d = 0.50) powtórzone 25 razy. Czerwone – wyniki istotne (p < .05). Obliczenia: R (dane symulowane).

W naszym pilotażu jest tak samo. Do symulacji wpisaliśmy różnicę 4 punktów, a z próby wyszło 7.10. Przedział dla d od −1.96 do −0.08 mówi uczciwie, że efekt może być zarówno ogromny, jak i znikomy. Dlatego w pracy nie pisz, że trening „silnie obniża stres”. Napisz, że kierunek wyniku jest obiecujący, a wielkość efektu – nieznana.

Testy dokładne i bootstrap: co dają, a czego nie

Przy małej próbie promotor często radzi „test dokładny” albo „bootstrap”. Oba podejścia mają sens, ale żadne nie dodaje informacji, których w danych nie ma.

Test permutacyjny nie zakłada rozkładu normalnego. Rozkład statystyki przy hipotezie zerowej powstaje z przetasowania etykiet grup. Przy losowym przydziale wynik jest dokładny (Ernst, 2004). W pilotażu jest 184 756 sposobów podziału 20 osób na dwie grupy po 10. Komputer sprawdzi je wszystkie, a dokładne p wynosi .036, prawie tyle samo co w teście Welcha. Test dokładny chroni więc przed błędem I rodzaju, ale nie zwiększa mocy. Przy bardzo małych grupach ma też twardą granicę. Przy 3 + 3 osobach podziałów jest tylko 20, więc najmniejsze możliwe p dwustronne to .100. Takie badanie nie da wyniku istotnego, nawet gdy grupy w ogóle na siebie nie zachodzą. Przy 4 + 4 minimum to .029, a przy 5 + 5 – .008.

Test dokładny Fishera stosuje się, gdy w tabeli 2 × 2 są małe liczebności. Szczegóły i regułę Cochrana omawia wpis chi-kwadrat czy test Fishera. W pilotażu problemy ze snem zgłosiło 8 z 10 osób z grupy kontrolnej i 3 z 10 po treningu (80% wobec 30%). Test Fishera dał p = .070, warunkowy iloraz szans OR = 8.15, 95% CI [0.88, 127.06]. Przedział sięga od braku efektu do efektu ogromnego. Test Fishera jest przy tym zachowawczy, bo z powodu dyskretności rozkładu rzeczywisty poziom błędu jest niższy niż .05. Lydersen i in. (2009) zalecają zamiast niego testy bezwarunkowe albo poprawkę mid-p. Tu mid-p wynosi .038. Wariant testu wybierz jednak w planie analizy, zanim zobaczysz wynik. Przejście na mid-p dlatego, że daje p < .05, to szukanie istotności.

Bootstrap losuje próby ze zwracaniem z tych 20 osób. Nie tworzy nowych danych, więc nie zastąpi większej próby. Hesterberg (2015) pokazuje, że przy małych próbach popularny przedział percentylowy jest mniej dokładny niż zwykły przedział t. W pilotażu przedział percentylowy dla różnicy wynosi [−12.80, −1.50] i jest węższy od przedziału Welcha [−13.56, −0.64]. To nie jest zysk, tylko zaniżona niepewność. Sprawdziliśmy w symulacji przy 10 osobach w grupie, jak często 95% CI obejmuje prawdziwą różnicę. Przedział Welcha zrobił to w 95.5% powtórzeń przy rozkładzie normalnym i w 96.9% przy skośnym. Bootstrap percentylowy – tylko w 92.1% i 91.0%. Przedział BCa ([−13.00, −1.70]) poprawia przesunięcie i skośność, ale przy 10 osobach w grupie też opiera się na niewielu obserwacjach.

Wniosek praktyczny: przy 10–30 osobach w grupie test Welcha albo test permutacyjny są zwykle wystarczające. Rozkład skośny nie wymusza testu nieparametrycznego (zob. test t przy rozkładzie nienormalnym i testy nieparametryczne krok po kroku). Żadna z tych metod nie zamieni małej próby w dużą.

Wielkość efektu z przedziałem zamiast „brak istotności”

Najczęstszy błąd przy małej próbie to zdanie „nie stwierdzono różnic, więc trening nie działa”. Przy mocy .18 brak istotności jest wynikiem spodziewanym nawet wtedy, gdy efekt istnieje. Cumming (2014) zaleca, by zamiast samego testu raportować wielkość efektu z przedziałem ufności i interpretować cały przedział. Przy małej próbie przedział będzie szeroki i to jest uczciwa informacja: badanie nie rozstrzyga pytania.

Nie licz też „mocy obserwowanej” z efektu z próby. Hoenig i Heisey (2001) pokazali, że taka moc wynika wprost z wartości p i niczego nie dodaje (zob. analiza mocy post hoc). Zamiast niej podaj najmniejszy efekt, który próba mogła wykryć, np. „przy 10 osobach w grupie badanie miało moc .80 dopiero dla d = 1.32”. Jak opisać wynik nieistotny krok po kroku, pokazuje wpis jak opisać wynik nieistotny.

Kiedy zrezygnować z testów

Test statystyczny ma sens, gdy chcesz uogólnić wynik z próby na populację. Czasem lepszy jest inny plan:

  • Badasz całą małą zbiorowość, np. wszystkich 15 pracowników działu. Nie ma populacji, na którą trzeba uogólniać, więc wystarczą statystyki opisowe: liczebności, odsetki, mediany i rozstępy.
  • Pytasz „jak” i „dlaczego”, a nie „o ile”. Wtedy seria pogłębionych wywiadów może dać więcej niż ankieta z testami. Malterud i in. (2016) proponują pojęcie mocy informacyjnej. Im więcej istotnych dla celu informacji niesie każdy uczestnik, tym mniej osób potrzeba. Więcej we wpisie ile wywiadów przeprowadzić.
  • Masz kilka osób, ale wiele pomiarów, np. terapia u trzech dzieci. Pasuje tu badanie jednego przypadku albo studium przypadku.
  • Pilotaż ma sprawdzić wykonalność: rekrutację, zrozumiałość narzędzia i odsetek rezygnacji. Testowanie skuteczności nie jest jego celem (zob. badanie pilotażowe).

Połączenie małej części ilościowej z wywiadami opisuje wpis o badaniach mieszanych.

Jak opisać małą próbę w pracy

Ogólne zasady pisania o ograniczeniach są we wpisie ograniczenia badania – jak je opisać. Samo zdanie „próba była mała” nic nie mówi. Napisz, jakie efekty badanie mogło wykryć, jak szerokie są przedziały i jakie wnioski z tego wynikają. Wzór dla pilotażu z przykładu:

Badanie przeprowadzono na 20 osobach (po 10 w grupie), co wynikało z liczby uczestników zajęć dostępnych w semestrze. Przy tej liczebności test t miał moc .80 dopiero dla efektu d = 1.32, a dla efektu umiarkowanego (d = 0.5) – tylko .18. Różnica w poziomie stresu była istotna, d = −1.03, 95% CI [−1.96, −0.08], jednak szeroki przedział oznacza, że rzeczywisty efekt może być zarówno duży, jak i bliski zera. Przy małych próbach wyniki istotne często przeszacowują wielkość efektu, dlatego wynik traktuję jako wstępny. Odsetek osób z problemami ze snem był niższy po treningu (30% wobec 80%), ale różnica nie była istotna w teście dokładnym Fishera, p = .070. Ocena skuteczności treningu wymaga badania na większej próbie, zaplanowanego na podstawie analizy mocy.

W rozdziale metodologicznym podaj, skąd wzięła się liczebność i jaki test wybrano przed analizą. Testy dokładne i bootstrap opisz z liczbą permutacji lub prób oraz z ziarnem losowania.

Czego nie robić przy małej próbie

  • Nie zmieniaj testu po zobaczeniu wyniku, np. z Fishera na mid-p, z t na Manna–Whitneya albo odwrotnie.
  • Nie dziel 20 osób na podgrupy według płci, wieku czy stażu. Przy pięciu osobach w podgrupie test ma znikomą moc, a p z wielu porównań będzie przypadkowe.
  • Nie dokładaj wielu predyktorów do regresji. Model z ośmioma zmiennymi na 25 obserwacjach dopasuje się do szumu.
  • Nie pisz „trend w kierunku istotności” przy p = .07. Podaj efekt z przedziałem.
  • Nie licz mocy z wyniku. Podaj najmniejszy wykrywalny efekt.

Jeśli nie wiesz, który test pasuje do Twoich danych, zacznij od kreatora wyboru testu.

Przykład reprodukowalny

Wszystkie obliczenia w R

Przepis 1 liczy tabelę 1 i symulację błędu typu M, przepis 2 – wszystkie liczby z pilotażu, przepis 3 – symulację pokrycia przedziałów, a przepis 4 rysuje oba rysunki. Kod uruchamiasz z folderu z danymi; plik CSV zapisuje przepis 2.

1. Moc, najmniejsze wykrywalne d i szerokość CI (tabela 1) oraz błąd typu M

Dane wejściowe: brak – wzory i symulacja w bazowym R, set.seed(3141), 20 000 powtórzeń.

Co odczytać: najmniejsze d wykrywalne z mocą .80, moc dla d = 0.5 i 0.8, 95% CI dla d = 0.5, te same wielkości dla korelacji oraz średnie d wśród wyników istotnych.

R
# B314 – co da się wykazać przy małej próbie: moc, najmniejsze wykrywalne d i szerokość 95% CI
# Dwie równe grupy, test t, alfa = .05 (dwustronnie); bazowe R
# 95% CI dla d z niecentralnego rozkładu t (odwrócenie testu, jak w pakietach do wielkości efektu)
ci_d <- function(d, n1, n2, poziom = 0.95) {
  df <- n1 + n2 - 2; skala <- sqrt(1 / n1 + 1 / n2); t_obs <- d / skala
  a <- (1 - poziom) / 2
  f <- function(ncp, p) suppressWarnings(pt(t_obs, df, ncp)) - p
  c(dol = uniroot(f, c(-40, 40), p = 1 - a)$root * skala,
    gor = uniroot(f, c(-40, 40), p = a)$root * skala)
}
n <- c(10, 15, 20, 30, 64)
tab <- t(sapply(n, function(k) {
  ci <- ci_d(0.5, k, k)
  c(n_w_grupie = k, N = 2 * k,
    min_d_moc80 = power.t.test(n = k, power = 0.80, sig.level = 0.05)$delta,
    moc_d05 = power.t.test(n = k, delta = 0.5, sig.level = 0.05)$power,
    moc_d08 = power.t.test(n = k, delta = 0.8, sig.level = 0.05)$power,
    ci_dol = ci[["dol"]], ci_gor = ci[["gor"]])
}))
print(round(tab, 2))

# Korelacja: najmniejsze r wykrywalne z mocą .80 (przybliżenie Fishera z) i 95% CI dla r = .30
min_r <- function(N, moc = 0.80) tanh((qnorm(0.975) + qnorm(moc)) / sqrt(N - 3))
ci_r <- function(r, N) tanh(atanh(r) + c(-1, 1) * qnorm(0.975) / sqrt(N - 3))
kor <- t(sapply(c(10, 20, 30, 85), function(N) c(N = N, min_r = min_r(N), ci_r(0.30, N))))
colnames(kor) <- c("N", "min_r_moc80", "ci_dol_r03", "ci_gor_r03")
print(round(kor, 2))

# Błąd typu M (Gelman i Carlin, 2014): prawdziwe d = 0.5, n = 10 w grupie
set.seed(3141)
R <- 20000
d_obs <- p_obs <- numeric(R)
for (i in seq_len(R)) {
  x <- rnorm(10, 0.5); y <- rnorm(10, 0)
  sp <- sqrt((var(x) + var(y)) / 2)
  d_obs[i] <- (mean(x) - mean(y)) / sp
  p_obs[i] <- t.test(x, y, var.equal = TRUE)$p.value
}
istotne <- p_obs < 0.05
cat(sprintf("Odsetek wyników istotnych (empiryczna moc): %.3f\n", mean(istotne)))
cat(sprintf("Średnie d wśród wyników istotnych: %.2f; współczynnik zawyżenia: %.2f\n",
            mean(abs(d_obs[istotne])), mean(abs(d_obs[istotne])) / 0.5))
cat(sprintf("Najmniejsze d wśród wyników istotnych: %.2f\n", min(abs(d_obs[istotne]))))
cat(sprintf("Istotne ze złym znakiem (błąd typu S): %.4f wszystkich istotnych\n",
            mean(d_obs[istotne] < 0)))
Wynik w R
     n_w_grupie   N min_d_moc80 moc_d05 moc_d08 ci_dol ci_gor
[1,]         10  20        1.32    0.18    0.39  -0.40   1.38
[2,]         15  30        1.06    0.26    0.56  -0.23   1.22
[3,]         20  40        0.91    0.34    0.69  -0.13   1.13
[4,]         30  60        0.74    0.48    0.86  -0.02   1.01
[5,]         64 128        0.50    0.80    0.99   0.15   0.85
      N min_r_moc80 ci_dol_r03 ci_gor_r03
[1,] 10        0.79      -0.41       0.78
[2,] 20        0.59      -0.16       0.66
[3,] 30        0.49      -0.07       0.60
[4,] 85        0.30       0.09       0.48
Odsetek wyników istotnych (empiryczna moc): 0.184
Średnie d wśród wyników istotnych: 1.24; współczynnik zawyżenia: 2.49
Najmniejsze d wśród wyników istotnych: 0.94
Istotne ze złym znakiem (błąd typu S): 0.0076 wszystkich istotnych

2. Pilotaż 10 + 10: test Welcha, d z CI, test permutacyjny, Fisher z mid-p i bootstrap

Dane wejściowe: 20 osób, dwie grupy po 10, stres 0–40 i problemy ze snem (tak/nie), dane symulowane, set.seed(3142) i set.seed(3148); pakiety effectsize i boot.

Co odczytać: średnie i SD, wynik testu Welcha, d z 95% CI, dokładne p z 184 756 podziałów, najmniejsze możliwe p przy 3–5 osobach w grupie, test Fishera z mid-p oraz przedziały bootstrapowe obok przedziału Welcha.

R
# B314 – przykład: pilotaż treningu uważności, 10 + 10 osób (dane symulowane)
# Test t Welcha, d z 95% CI, dokładny test permutacyjny, test Fishera z mid-p, bootstrap
suppressPackageStartupMessages({ library(effectsize); library(boot) })
set.seed(3142)
n <- 10
grupa <- factor(rep(c("Kontrolna", "Trening"), each = n), levels = c("Kontrolna", "Trening"))
stres <- round(pmin(40, pmax(0, rnorm(2 * n, 21 - 4 * (grupa == "Trening"), 6))))
set.seed(3148)
sen <- c(rbinom(n, 1, 0.65), rbinom(n, 1, 0.30))          # 1 = problemy ze snem po 4 tygodniach
dane <- data.frame(id = seq_len(2 * n), grupa, stres, problemy_ze_snem = sen)
write.csv(dane, "../mala-proba-dane-przyklad.csv", row.names = FALSE, fileEncoding = "UTF-8")

# Statystyki opisowe
print(aggregate(stres ~ grupa, dane, function(y) round(c(M = mean(y), SD = sd(y), Mdn = median(y)), 2)))

# Test t Welcha (Trening − Kontrolna) i d Cohena z 95% CI
x <- dane$stres[dane$grupa == "Trening"]; y <- dane$stres[dane$grupa == "Kontrolna"]
tw <- t.test(x, y)
round(c(roznica = unname(tw$estimate[1] - tw$estimate[2]), CI_dol = tw$conf.int[1], CI_gor = tw$conf.int[2],
        t = unname(tw$statistic), df = unname(tw$parameter), p = tw$p.value), 3)
d <- cohens_d(x, y, ci = 0.95)
round(c(d = d$Cohens_d, d_dol = d$CI_low, d_gor = d$CI_high), 2)

# Dokładny test permutacyjny: wszystkie podziały 20 osób na dwie grupy po 10
podzialy <- combn(2 * n, n)
cat("Liczba wszystkich podziałów:", ncol(podzialy), "\n")
suma <- sum(dane$stres)
s_tren <- colSums(matrix(dane$stres[podzialy], nrow = n))
roznice <- s_tren / n - (suma - s_tren) / n
obs <- mean(x) - mean(y)
p_perm <- mean(abs(roznice) >= abs(obs) - 1e-9)
cat(sprintf("Różnica średnich: %.2f; dokładne p permutacyjne (dwustronne): %.4f\n", obs, p_perm))

# Najmniejsze możliwe p w teście permutacyjnym przy bardzo małych grupach (dwustronnie)
for (k in 3:5) cat(sprintf("%d + %d osób: podziałów %d, najmniejsze p = %s\n",
                           k, k, choose(2 * k, k), sub("^0", "", sprintf("%.3f", 2 / choose(2 * k, k)))))

# Problemy ze snem: tabela 2 × 2, test Fishera i mid-p
tab <- table(dane$grupa, factor(dane$problemy_ze_snem, levels = c(1, 0), labels = c("tak", "nie")))
print(tab)
fi <- fisher.test(tab)
round(c(OR = unname(fi$estimate), CI_dol = fi$conf.int[1], CI_gor = fi$conf.int[2], p = fi$p.value), 3)
# mid-p: prawdopodobieństwa tabel bardziej skrajnych + połowa prawdopodobieństwa tabeli obserwowanej
a <- tab["Kontrolna", "tak"]; m1 <- sum(tab[, "tak"]); nk <- sum(tab["Kontrolna", ])
pr <- dhyper(0:min(m1, nk), nk, 2 * n - nk, m1); p_a <- dhyper(a, nk, 2 * n - nk, m1)
p_mid <- sum(pr[pr < p_a - 1e-12]) + 0.5 * sum(pr[abs(pr - p_a) <= 1e-12])
p3 <- function(p) sub("^0", "", sprintf("%.3f", p))           # p w stylu APA, bez zera wiodącego
cat(sprintf("Odsetek z problemami: kontrolna %.0f%%, trening %.0f%%; Fisher p = %s, mid-p = %s\n",
            100 * tab["Kontrolna", "tak"] / n, 100 * tab["Trening", "tak"] / n, p3(fi$p.value), p3(p_mid)))
# Najmniejsze p Fishera przy skrajnym wyniku 3/3 vs 0/3
cat(sprintf("Fisher, 3 z 3 vs 0 z 3: p = %s\n", p3(fisher.test(matrix(c(3, 0, 0, 3), 2))$p.value)))

# Bootstrap różnicy średnich (losowanie w obrębie grup), 9999 prób
set.seed(3143)
b <- boot(dane, function(d, i) { dd <- d[i, ]; mean(dd$stres[dd$grupa == "Trening"]) - mean(dd$stres[dd$grupa == "Kontrolna"]) },
          R = 9999, strata = dane$grupa)
ci_b <- boot.ci(b, type = c("perc", "bca"))
round(c(perc_dol = ci_b$percent[4], perc_gor = ci_b$percent[5], bca_dol = ci_b$bca[4], bca_gor = ci_b$bca[5],
        welch_dol = tw$conf.int[1], welch_gor = tw$conf.int[2]), 2)
Wynik w R
      grupa stres.M stres.SD stres.Mdn
1 Kontrolna   22.80     6.37     22.50
2   Trening   15.70     7.33     16.50
roznica  CI_dol  CI_gor       t      df       p 
 -7.100 -13.564  -0.636  -2.311  17.657   0.033 
    d d_dol d_gor 
-1.03 -1.96 -0.08 
Liczba wszystkich podziałów: 184756 
Różnica średnich: -7.10; dokładne p permutacyjne (dwustronne): 0.0358
3 + 3 osób: podziałów 20, najmniejsze p = .100
4 + 4 osób: podziałów 70, najmniejsze p = .029
5 + 5 osób: podziałów 252, najmniejsze p = .008
           
            tak nie
  Kontrolna   8   2
  Trening     3   7
     OR  CI_dol  CI_gor       p 
  8.153   0.882 127.056   0.070 
Odsetek z problemami: kontrolna 80%, trening 30%; Fisher p = .070, mid-p = .038
Fisher, 3 z 3 vs 0 z 3: p = .100
 perc_dol  perc_gor   bca_dol   bca_gor welch_dol welch_gor 
   -12.80     -1.50    -13.00     -1.70    -13.56     -0.64 

3. Symulacja: jak często 95% CI obejmuje prawdziwą różnicę przy n = 10

Dane wejściowe: 2000 symulowanych badań 10 + 10 osób z rozkładu normalnego i skośnego, prawdziwa różnica 0.5, 999 prób bootstrapowych w każdym, set.seed(3149).

Co odczytać: odsetek przedziałów, które objęły prawdziwą różnicę (powinno być około .95).

R
# B314 – jak często 95% CI obejmuje prawdziwą różnicę średnich przy n = 10 w grupie?
# Porównanie: przedział t Welcha a bootstrap percentylowy (999 prób w obrębie grup), 2000 powtórzeń
set.seed(3149)
pokrycie <- function(los, prawda, n = 10, R = 2000, B = 999) {
  traf <- matrix(FALSE, R, 2, dimnames = list(NULL, c("Welch", "Bootstrap_perc")))
  for (r in seq_len(R)) {
    x <- los(n) + prawda; y <- los(n)
    ci_t <- t.test(x, y)$conf.int
    bx <- matrix(sample(x, n * B, replace = TRUE), B); by <- matrix(sample(y, n * B, replace = TRUE), B)
    ci_b <- quantile(rowMeans(bx) - rowMeans(by), c(0.025, 0.975))
    traf[r, ] <- c(ci_t[1] <= prawda && prawda <= ci_t[2], ci_b[1] <= prawda && prawda <= ci_b[2])
  }
  colMeans(traf)
}
lognorm <- function(n) rlnorm(n, 0, 0.8) - exp(0.8^2 / 2)    # skośny rozkład o średniej 0
wyn <- rbind(normalny = pokrycie(rnorm, 0.5), skosny = pokrycie(lognorm, 0.5))
print(round(wyn, 3))
Wynik w R
         Welch Bootstrap_perc
normalny 0.955          0.921
skosny   0.969          0.910

4. Rysunki 1 i 2

Dane wejściowe: symulacja 25 badań (set.seed(3150)) i wzory mocy; pakiety ggplot2 i svglite. Zmienna środowiskowa PNG_DIR (opcjonalna) zapisuje też podgląd PNG.

Co odczytać: liczbę wyników istotnych wśród 25 powtórzeń i wartości zaznaczone na rysunku 1.

R
# B314 – rysunki do wpisu /blog/analiza-na-malej-probie/
# Uruchomienie z folderu kod/: PNG_DIR=<folder na podgląd> LANG=en_US.UTF-8 LC_ALL=en_US.UTF-8 Rscript b314-rysunki.R > b314-rysunki-wynik.txt
suppressPackageStartupMessages({ library(ggplot2); library(svglite) })
KOLORY <- c(akcent = "#e50101", drugi = "#1f78b4", granat = "#0f1d3a")
theme_metodolog <- function(base_size = 14) {
  theme_minimal(base_size = base_size) +
    theme(plot.title = element_text(face = "bold", colour = KOLORY[["granat"]], size = rel(1.05), margin = margin(b = 6)),
          plot.subtitle = element_text(colour = "grey30", margin = margin(b = 8)),
          panel.grid.minor = element_blank(), panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
          axis.title = element_text(colour = "grey20"), axis.text = element_text(colour = "grey25"),
          legend.position = "bottom", plot.background = element_rect(fill = "white", colour = NA),
          plot.margin = margin(10, 14, 10, 10))
}
zapisz_svg <- function(wykres, plik, szer = 10, wys = 5.6) {
  svglite::svglite(plik, width = szer, height = wys, bg = "white"); print(wykres); invisible(grDevices::dev.off())
  png_dir <- Sys.getenv("PNG_DIR")
  if (nzchar(png_dir)) ggsave(file.path(png_dir, sub("\\.svg$", ".png", basename(plik))), wykres,
                              width = szer, height = wys, dpi = 100, bg = "white")
  cat(sprintf("Zapisano %s: width=\"%d\" height=\"%d\"\n", plik, round(szer * 100), round(wys * 100)))
}
ci_d <- function(d, n1, n2, poziom = 0.95) {          # 95% CI dla d z niecentralnego rozkładu t
  df <- n1 + n2 - 2; skala <- sqrt(1 / n1 + 1 / n2); t_obs <- d / skala; a <- (1 - poziom) / 2
  f <- function(ncp, p) suppressWarnings(pt(t_obs, df, ncp)) - p
  c(uniroot(f, c(-40, 40), p = 1 - a)$root, uniroot(f, c(-40, 40), p = a)$root) * skala
}
f2 <- function(x, k = 2) sub("^-", "−", formatC(x, format = "f", digits = k))

# ---------- Rysunek 1: 25 powtórzeń tego samego badania, n = 10 w grupie, prawdziwe d = 0.5
set.seed(3150)
badania <- do.call(rbind, lapply(1:25, function(i) {
  x <- rnorm(10, 0.5); y <- rnorm(10)
  d <- (mean(x) - mean(y)) / sqrt((var(x) + var(y)) / 2); ci <- ci_d(d, 10, 10)
  data.frame(nr = i, d = d, dol = ci[1], gor = ci[2])
}))
badania$wynik <- ifelse(badania$dol > 0, "istotny (p < .05)", "nieistotny")
cat(sprintf("Istotnych: %d z 25; d od %s do %s; średnie d istotnych: %s\n", sum(badania$dol > 0),
            f2(min(badania$d)), f2(max(badania$d)), f2(mean(badania$d[badania$dol > 0]))))
cat(sprintf("Średnia szerokość 95%% CI dla d: %s\n", f2(mean(badania$gor - badania$dol))))
r1 <- ggplot(badania, aes(d, factor(nr, levels = 25:1), colour = wynik)) +
  geom_vline(xintercept = 0, colour = "grey40", linetype = 2) +
  geom_vline(xintercept = 0.5, colour = KOLORY[["granat"]], linewidth = 0.7) +
  geom_errorbar(aes(xmin = dol, xmax = gor), width = 0.45, orientation = "y", linewidth = 0.7) +
  geom_point(size = 2.2) +
  annotate("label", x = 0.5, y = 26.4, label = "prawdziwe d = 0.50", size = 3.6, colour = KOLORY[["granat"]],
           fill = "white", linewidth = 0) +
  scale_colour_manual(values = c("istotny (p < .05)" = KOLORY[["akcent"]], "nieistotny" = "grey55"), name = NULL) +
  scale_x_continuous(breaks = seq(-1.5, 2.5, 0.5), labels = f2(seq(-1.5, 2.5, 0.5), 1)) +
  scale_y_discrete(expand = expansion(add = c(0.6, 2))) +
  labs(title = "To samo badanie powtórzone 25 razy: 10 + 10 osób, prawdziwe d = 0.50",
       subtitle = "Punkty – d Cohena z próby, odcinki – 95% CI; dane symulowane",
       x = "d Cohena", y = "Powtórzenie badania") +
  theme_metodolog(13) + theme(axis.text.y = element_blank(), panel.grid.major.y = element_blank())
zapisz_svg(r1, "../mala-proba-25-powtorzen-badania.svg", szer = 9, wys = 6.4)

# ---------- Rysunek 2: najmniejsze wykrywalne d i połowa szerokości 95% CI w zależności od n
siatka <- data.frame(n = 5:80)
siatka$min_d <- sapply(siatka$n, function(k) power.t.test(n = k, power = 0.8)$delta)
siatka$polowa_ci <- sapply(siatka$n, function(k) diff(ci_d(0, k, k)) / 2)
dl <- rbind(data.frame(n = siatka$n, y = siatka$min_d, miara = "najmniejsze d wykrywalne z mocą .80"),
            data.frame(n = siatka$n, y = siatka$polowa_ci, miara = "± połowa szerokości 95% CI dla d"))
pkt <- subset(dl, n %in% c(10, 20, 30, 64))
print(transform(pkt, y = round(y, 2)), row.names = FALSE)
r2 <- ggplot(dl, aes(n, y, colour = miara)) +
  annotate("rect", xmin = 10, xmax = 30, ymin = -Inf, ymax = Inf, fill = "grey93") +
  annotate("text", x = 20, y = 2.25, label = "10–30 osób\nw grupie", size = 3.6, colour = "grey30", lineheight = 0.9) +
  geom_hline(yintercept = c(0.2, 0.5, 0.8), colour = "grey70", linetype = 3) +
  geom_line(linewidth = 1.1) +
  geom_point(data = pkt, size = 2.4) +
  geom_text(data = pkt, aes(label = f2(y), vjust = ifelse(grepl("^najmn", miara), -0.9, 1.9)), size = 3.4, show.legend = FALSE) +
  annotate("text", x = 4, y = c(0.2, 0.5, 0.8) + 0.05, label = c("d = 0.2", "d = 0.5", "d = 0.8"),
           hjust = 0, size = 3.2, colour = "grey45") +
  scale_colour_manual(values = c(KOLORY[["akcent"]], KOLORY[["drugi"]]), name = NULL) +
  scale_x_continuous(breaks = c(5, 10, 20, 30, 40, 50, 64, 80)) +
  scale_y_continuous(limits = c(0, 2.4), breaks = seq(0, 2.4, 0.4), labels = f2(seq(0, 2.4, 0.4), 1)) +
  labs(title = "Przy 10–30 osobach w grupie wykryjesz tylko duże efekty",
       subtitle = "Dwie równe grupy, test t, α = .05 dwustronnie", x = "Liczba osób w każdej grupie", y = "d Cohena") +
  theme_metodolog(13)
zapisz_svg(r2, "../mala-proba-wykrywalny-efekt.svg", szer = 9, wys = 5.4)
Wynik w R
Istotnych: 2 z 25; d od −0.09 do 1.27; średnie d istotnych: 1.17
Średnia szerokość 95% CI dla d: 1.79
Zapisano ../mala-proba-25-powtorzen-badania.svg: width="900" height="640"
  n    y                               miara
 10 1.32 najmniejsze d wykrywalne z mocą .80
 20 0.91 najmniejsze d wykrywalne z mocą .80
 30 0.74 najmniejsze d wykrywalne z mocą .80
 64 0.50 najmniejsze d wykrywalne z mocą .80
 10 0.88    ± połowa szerokości 95% CI dla d
 20 0.62    ± połowa szerokości 95% CI dla d
 30 0.51    ± połowa szerokości 95% CI dla d
 64 0.35    ± połowa szerokości 95% CI dla d
Zapisano ../mala-proba-wykrywalny-efekt.svg: width="900" height="540"

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3; rysunki powstały w pakietach ggplot2 i svglite. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. effectsize (wersja 1.0.2): Ben-Shachar, M. S., Lüdecke, D., & Makowski, D. (2020). effectsize: Estimation of effect size indices and standardized parameters. Journal of Open Source Software, 5(56), 2815. https://doi.org/10.21105/joss.02815
  3. boot (wersja 1.3-32): Canty, A., & Ripley, B. (2025). boot: Bootstrap functions [R package]. https://doi.org/10.32614/CRAN.package.boot
  4. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  5. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An ‘SVG’ graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Najczęstsze pytania

Od ilu osób można liczyć testy statystyczne w pracy dyplomowej?

Nie ma minimalnej liczby, od której test „wolno” liczyć. Test da się policzyć przy kilku osobach, ale jego moc zależy od liczebności i wielkości efektu. Przy 10 osobach w grupie test t wykrywa z mocą .80 dopiero efekt d = 1.32, przy 30 – d = 0.74. Przed analizą sprawdź, jaki najmniejszy efekt Twoja próba może wykryć, i napisz to w pracy.

Czy przy małej próbie trzeba użyć testu nieparametrycznego?

Nie automatycznie. Mała próba nie jest sama w sobie powodem do zmiany testu. Test Welcha albo test permutacyjny dobrze kontrolują błąd I rodzaju także przy 10 osobach w grupie. Test nieparametryczny odpowiada na nieco inne pytanie i nie ma większej mocy. Wybierz test w planie analizy według pytania badawczego, a nie po obejrzeniu wyników.

Czy bootstrap naprawia zbyt małą próbę?

Nie. Bootstrap losuje ze zwracaniem z tych samych osób, więc nie tworzy nowej informacji. Przy małych próbach przedział percentylowy bywa za wąski: w naszej symulacji przy 10 osobach w grupie obejmował prawdziwą różnicę w 91–92% przypadków zamiast w 95%, a przedział t Welcha – w 95.5–96.9%.

Wynik wyszedł istotny na 20 osobach – czy to znaczy, że efekt jest duży?

Niekoniecznie. Przy małej próbie istotne wychodzą głównie te wyniki, w których efekt przypadkiem jest duży. W symulacji z prawdziwym d = 0.5 i 10 osobami w grupie istotne wyniki miały średnio d = 1.24, czyli 2.49 raza więcej niż prawda. Podaj przedział ufności dla d i opisz wielkość efektu jako niepewną.

Jak napisać w pracy, że próba była mała?

Zamiast samego zdania „próba była mała” podaj trzy rzeczy: skąd wzięła się liczebność, jaki najmniejszy efekt badanie mogło wykryć z mocą .80 i jak szerokie są przedziały ufności dla głównych wyników. Na tej podstawie napisz, które wnioski są wstępne, i zaproponuj, jak duża powinna być próba w kolejnym badaniu.

Powiązane hasła

Przeczytaj też

Masz mało danych i nie wiesz, co z nimi zrobić?

Sprawdzimy, jakie efekty może wykazać Twoja próba, dobierzemy analizę do liczebności i pomożemy uczciwie opisać wyniki i ograniczenia tak, żebyś umiał(a) je samodzielnie obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365–376. https://doi.org/10.1038/nrn3475 ● Otwarty dostęp
  2. Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7–29. https://doi.org/10.1177/0956797613504966
  3. Ernst, M. D. (2004). Permutation methods: A basis for exact inference. Statistical Science, 19(4), 676–685. https://doi.org/10.1214/088342304000000396 ● Otwarty dostęp
  4. Gelman, A., & Carlin, J. (2014). Beyond power calculations: Assessing type S (sign) and type M (magnitude) errors. Perspectives on Psychological Science, 9(6), 641–651. https://doi.org/10.1177/1745691614551642
  5. Hesterberg, T. C. (2015). What teachers should know about the bootstrap: Resampling in the undergraduate statistics curriculum. The American Statistician, 69(4), 371–386. https://doi.org/10.1080/00031305.2015.1089789 ● Otwarty dostęp
  6. Hoenig, J. M., & Heisey, D. M. (2001). The abuse of power: The pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19–24. https://doi.org/10.1198/000313001300339897
  7. Lakens, D. (2022). Sample size justification. Collabra: Psychology, 8(1), Article 33267. https://doi.org/10.1525/collabra.33267 ● Otwarty dostęp
  8. Lydersen, S., Fagerland, M. W., & Laake, P. (2009). Recommended tests for association in 2 × 2 tables. Statistics in Medicine, 28(7), 1159–1175. https://doi.org/10.1002/sim.3531
  9. Malterud, K., Siersma, V. D., & Guassora, A. D. (2016). Sample size in qualitative interview studies: Guided by information power. Qualitative Health Research, 26(13), 1753–1760. https://doi.org/10.1177/1049732315617444

Cytowania BibTeX

@article{button2013power, author={Button, Katherine S. and Ioannidis, John P. A. and Mokrysz, Claire and Nosek, Brian A. and Flint, Jonathan and Robinson, Emma S. J. and Munafò, Marcus R.}, title={{Power failure: Why small sample size undermines the reliability of neuroscience}}, journal={Nature Reviews Neuroscience}, year={2013}, volume={14}, number={5}, pages={365--376}, doi={10.1038/nrn3475}}
@article{cumming2014new, author={Cumming, Geoff}, title={{The new statistics: Why and how}}, journal={Psychological Science}, year={2014}, volume={25}, number={1}, pages={7--29}, doi={10.1177/0956797613504966}}
@article{ernst2004permutation, author={Ernst, Michael D.}, title={{Permutation methods: A basis for exact inference}}, journal={Statistical Science}, year={2004}, volume={19}, number={4}, pages={676--685}, doi={10.1214/088342304000000396}}
@article{gelman2014beyond, author={Gelman, Andrew and Carlin, John}, title={{Beyond power calculations: Assessing type S (sign) and type M (magnitude) errors}}, journal={Perspectives on Psychological Science}, year={2014}, volume={9}, number={6}, pages={641--651}, doi={10.1177/1745691614551642}}
@article{hesterberg2015what, author={Hesterberg, Tim C.}, title={{What teachers should know about the bootstrap: Resampling in the undergraduate statistics curriculum}}, journal={The American Statistician}, year={2015}, volume={69}, number={4}, pages={371--386}, doi={10.1080/00031305.2015.1089789}}
@article{hoenig2001abuse, author={Hoenig, John M. and Heisey, Dennis M.}, title={{The abuse of power: The pervasive fallacy of power calculations for data analysis}}, journal={The American Statistician}, year={2001}, volume={55}, number={1}, pages={19--24}, doi={10.1198/000313001300339897}}
@article{lakens2022sample, author={Lakens, Daniël}, title={{Sample size justification}}, journal={Collabra: Psychology}, year={2022}, volume={8}, number={1}, eid={33267}, doi={10.1525/collabra.33267}}
@article{lydersen2009recommended, author={Lydersen, Stian and Fagerland, Morten W. and Laake, Petter}, title={{Recommended tests for association in 2 × 2 tables}}, journal={Statistics in Medicine}, year={2009}, volume={28}, number={7}, pages={1159--1175}, doi={10.1002/sim.3531}}
@article{malterud2016sample, author={Malterud, Kirsti and Siersma, Volkert Dirk and Guassora, Ann Dorrit}, title={{Sample size in qualitative interview studies: Guided by information power}}, journal={Qualitative Health Research}, year={2016}, volume={26}, number={13}, pages={1753--1760}, doi={10.1177/1049732315617444}}
R