Publikacje naukowe · Schematy badań

Badanie pilotażowe wykonalności (feasibility): kryteria postępu, rekrutacja i retencja z przedziałami ufności

Jak zaplanować i przeanalizować pilotaż przed badaniem z randomizacją: kryteria postępu w układzie sygnalizacji świetlnej, odsetki rekrutacji, retencji i adherencji z 95% CI, decyzja o badaniu głównym i raport CONSORT – bez testowania skuteczności. Przykład z kodem R.

Strona główna / Blog / Pilotaż wykonalności
W skrócie: Pilotaż wykonalności sprawdza, czy badanie główne da się przeprowadzić: rekrutację, zgodę na randomizację, retencję i przestrzeganie protokołu. Wskaźniki podawaj jako odsetki i tempo z 95% CI (Wilson, Poisson) i porównuj z kryteriami postępu ustalonymi w protokole przed startem. Nie testuj skuteczności, a z pilotażu bierz SD, korelacje i odpadanie, nie wielkość efektu.

Pilotaż wykonalności odpowiada na pytanie „czy się da”, a nie „czy działa”

Zanim zaczniesz duże badanie z randomizacją, warto sprawdzić, czy da się je w ogóle przeprowadzić: czy znajdziesz uczestników, czy zgodzą się na losowanie, czy dotrwają do pomiaru końcowego i czy interwencja odbędzie się tak, jak w protokole. Eldridge, Lancaster i in. (2016) porządkują nazewnictwo tak: badanie wykonalności (feasibility study) pyta, czy coś da się zrobić, czy warto to kontynuować i jak. Badanie pilotażowe zadaje te same pytania, ale dodatkowo przeprowadza przyszłe badanie albo jego część na mniejszą skalę. Każdy pilotaż jest więc badaniem wykonalności, ale nie odwrotnie.

Leon i in. (2011) podkreślają, że pilotaż służy ocenie rekrutacji, randomizacji, retencji, procedur pomiaru i wdrożenia interwencji, a nie testowaniu hipotez. Ze względu na małą próbę nie daje też sensownego oszacowania wielkości efektu do planowania kolejnego badania. Lancaster i in. (2004) dodają, że pilotaż potrzebuje jasnej listy celów i formalnych ram. Nie może być wymówką dla badania, w którym po prostu brakuje pacjentów.

Ogólne zasady pilotażu w pracy dyplomowej, pretest ankiety i to, dlaczego nie liczyć mocy z efektu z pilotażu, opisujemy w poradniku badanie pilotażowe: po co, ile osób, co sprawdzić, a definicję – w haśle badanie pilotażowe. Ten wpis jest dla badaczy, którzy przygotowują zewnętrzny pilotaż z randomizacją przed badaniem głównym, i dotyczy jednego zagadnienia: jak zaplanować, policzyć i opisać kryteria postępu.

Pilotaż przykładowy: program dla opiekunów osób z otępieniem

Zespół planuje badanie skuteczności programu psychoedukacyjnego (6 sesji grupowych) dla opiekunów rodzinnych osób z otępieniem. Przed wnioskiem o duży grant prowadzi pilotaż w dwóch poradniach: 6 miesięcy rekrutacji, randomizacja do programu albo do zwykłej opieki, pomiar po 12 tygodniach. Wynikiem pierwszorzędowym przyszłego badania będzie obciążenie opiekuna (skala 0–48). Dane są symulowane, a liczby pochodzą z kodu R na końcu strony. Zbiór możesz pobrać jako plik CSV (59 wierszy: grupa, miesiąc randomizacji, pomiar po 12 tygodniach, liczba sesji, obciążenie na początku i na końcu).

Przez 6 miesięcy zgłosiło się 235 opiekunów. Kryteria włączenia spełniło 145 osób (61.7%, 95% CI [55.3, 67.7]), a zgodę na udział i randomizację wyraziło 59 (30 w programie, 29 w zwykłej opiece).

Krok 1. Kryteria postępu ustal przed pilotażem

Kryteria postępu (progression criteria) to zapisane w protokole progi, które mówią, co zrobić po pilotażu: przejść do badania głównego, wprowadzić zmiany albo zrezygnować. Według rozszerzenia CONSORT dla pilotaży z randomizacją, opracowanego przez Eldridge, Chan i in. (2016), raport musi podawać wcześniej określone kryteria decyzji, czy i jak przejść do badania właściwego. Najczęściej stosuje się układ „sygnalizacji świetlnej”: zielony – kontynuuj, bursztynowy – kontynuuj ze zmianami, czerwony – zatrzymaj się.

Avery i in. (2017) pokazują, że kryteria postępu najczęściej dotyczą trzech obszarów: rekrutacji, przestrzegania protokołu i kompletności danych o wyniku. W przeglądzie 160 protokołów i raportów pilotaży z lat 2018–2019 dominowały rekrutacja i retencja. Kryteria zwykle miały postać progów (83%), ale uzasadnienie podano tylko w 28% publikacji. Z zakończonych pilotaży 81% zapowiadało przejście do badania głównego, choć wszystkie kryteria spełniło tylko 46% (Mellor i in., 2021). Wniosek: progi trzeba uzasadnić i traktować poważnie.

Kryteria postępu w pilotażu przykładowym: wskaźniki, progi stref i uzasadnienie
WskaźnikZielonaBursztynowaCzerwonaSkąd próg
Tempo randomizacji (osób na miesiąc, dwie poradnie)≥ 107–9.9< 7Liczebność badania głównego i czas finansowania
Zgoda wśród kwalifikujących się≥ 50%35–49%< 35%Liczba opiekunów zgłaszających się do poradni
Retencja: pomiar po 12 tygodniach≥ 80%65–79%< 65%Odsetek odpadnięć przyjęty w analizie mocy
Adherencja: co najmniej 4 z 6 sesji≥ 70%50–69%< 50%Minimalna „dawka” programu według autorów interwencji

Mellor i in. (2023) zalecają, by kryteria wiązać z celami wykonalności, uzgadniać je z osobami, których dotyczą (personel poradni, opiekunowie), i traktować jako wytyczne, a nie sztywne reguły. Zapisz je w protokole i w rejestracji badania, zanim zrandomizujesz pierwszą osobę.

Krok 2. Odsetki i tempo z 95% CI, bez testów

Analiza pilotażu wykonalności jest opisowa. Każdy wskaźnik podajesz jako oszacowanie z przedziałem ufności. Dla odsetków użyj przedziału Wilsona, a nie przedziału Walda. Brown i in. (2001) pokazują, że pokrycie przedziału Walda jest chaotyczne, i przy małych próbach zalecają przedział Wilsona lub Jeffreysa. Tempo rekrutacji to liczba zdarzeń w czasie, więc jego przedział liczysz z rozkładu Poissona. Pojedyncze przedziały sprawdzisz w kalkulatorze przedziału ufności.

Wskaźniki wykonalności pilotażu z 95% CI i ocena według kryteriów postępu
WskaźnikWynikOszacowanie [95% CI]Strefa (punkt)Strefa (dolna granica CI)
Tempo randomizacji59 osób w 6 miesięcy9.83 [7.49, 12.68] na miesiącbursztynowabursztynowa
Zgoda wśród kwalifikujących się59/14540.7% [33.0, 48.8]bursztynowaczerwona
Retencja po 12 tygodniach45/5976.3% [64.0, 85.3]bursztynowaczerwona
Adherencja (≥ 4 z 6 sesji)23/3076.7% [59.1, 88.2]zielonabursztynowa
Cztery wskaźniki wykonalności na tle stref czerwonej, bursztynowej i zielonej: tempo 9.8 osoby na miesiąc [7.5, 12.7], zgoda 40.7% [33.0, 48.8], retencja 76.3% [64.0, 85.3], adherencja 76.7% [59.1, 88.2]. Trzy oszacowania punktowe leżą w strefie bursztynowej, adherencja w zielonej, a wszystkie przedziały obejmują więcej niż jedną strefę.
Rysunek 1. Wskaźniki wykonalności pilotażu (punkt) z 95% CI (Wilson dla odsetków, dokładny przedział Poissona dla tempa) na tle stref kryteriów postępu ustalonych w protokole. Obliczenia: R (dane symulowane).

Rysunek pokazuje coś, czego nie widać w samych oszacowaniach punktowych. Każdy przedział ufności zahacza o więcej niż jedną strefę. Przy 59 osobach retencja 76.3% jest zgodna zarówno z wartością 64%, jak i 85%. Dlatego w protokole zapisz z góry, czy decyzję opierasz na oszacowaniu punktowym, czy uwzględniasz przedział. W przykładzie przyjęto oszacowanie punktowe, a przedział służy do oceny ryzyka.

Czego nie liczysz. Nie testujesz różnicy obciążenia między grupami i nie podajesz wartości p dla skuteczności. Retencję w grupach (program 73.3% [55.6, 85.8], zwykła opieka 79.3% [61.6, 90.2]) opisujesz bez testu, jako sygnał, że w grupie programu odpadanie może być większe. Taką różnicę warto zrozumieć w rozmowach z uczestnikami, bo test na 59 osobach i tak by jej nie rozstrzygnął.

Krok 3. Od wskaźników do decyzji

Mellor i in. (2023) radzą, by nie oceniać kryteriów w izolacji. Uwzględnij kontekst i odróżnij dwa pytania: „czy możemy?” (wykonalność) i „czy będziemy?” (decyzja o kontynuacji). W przykładzie trzy wskaźniki są bursztynowe, a jeden zielony. Nic nie wymaga zatrzymania badania, ale badanie główne w obecnej postaci byłoby ryzykowne. Rozsądna decyzja to „kontynuujemy ze zmianami”:

  • Tempo i zgoda: dodać trzecią poradnię i skrócić procedurę zgody. Powody odmów zebrać w krótkim formularzu lub w wywiadach (badania mieszane dobrze łączą obie perspektywy).
  • Retencja: wprowadzić przypomnienia telefoniczne i możliwość wypełnienia pomiaru zdalnie. W planie badania głównego przyjąć ostrożny odsetek utraty uczestników.
  • Kwestionariusze: jeśli pozycje sprawiały trudność, sprawdzić je w wywiadach poznawczych.

Thabane i in. (2010) zaliczają kryteria oceny powodzenia pilotażu do jego podstawowych elementów. Decyzję opisz razem z progami, wynikami i uzasadnieniem zmian.

Krok 4. Parametry do planu badania głównego

Pilotaż dostarcza parametrów, których nie znajdziesz w literaturze: odsetka odpadnięć, odchylenia standardowego wyniku i korelacji pomiaru wyjściowego z końcowym. Nie dostarcza wielkości efektu. Tę bierzesz z najmniejszego interesującego efektu (SESOI), w przykładzie 4 punkty skali obciążenia.

U 45 osób z pomiarem końcowym zbiorcze SD wyniku wyniosło 8.21, 95% CI [6.79, 10.41], a korelacja pomiaru wyjściowego z końcowym r = .67. Dla ANCOVA z mocą .90 i SESOI = 4 punkty daje to 50 osób z pomiarem na grupę. Przy dolnej granicy SD wyszłoby 35, a przy górnej – 80. Po uwzględnieniu retencji z pilotażu trzeba zrandomizować 66 osób na grupę, a przy retencji równej dolnej granicy CI (64.0%) – 79. Szeroki przedział SD to powód, by podać we wniosku kilka scenariuszy, a nie jedną liczbę. Ogólne zasady opisujemy w poradniku dobór liczebności próby.

Ile osób do pilotażu wykonalności?

Liczebność pilotażu uzasadnij precyzją, z jaką chcesz oszacować najważniejszy wskaźnik. Jeśli kluczowa jest retencja około 80%, to przy 30 osobach połowa szerokości 95% CI Wilsona wynosi 13.9 punktu procentowego, przy 60 – 10.0, a przy 100 – 7.8. Dla odsetka około 50% (np. zgody) dokładność ±10 punktów wymaga 95 osób w mianowniku.

Połowa szerokości 95% CI Wilsona maleje z liczebnością: dla odsetka 80% wynosi 13.9 punktu procentowego przy 30 osobach, 10.0 przy 60 i 7.8 przy 100; dla odsetka 50% – 16.8, 12.3 i 9.6. Próg ±10 punktów osiąga się przy 60 osobach (80%), 80 osobach (70%) i 95 osobach (50%).
Rysunek 2. Połowa szerokości 95% CI Wilsona w zależności od liczby osób w mianowniku, dla obserwowanego odsetka 50%, 70% i 80%. Linia przerywana: dokładność ±10 punktów procentowych. Obliczenia: R.

Teare i in. (2014) doszli w symulacjach do podobnych liczb: do oszacowania SD wyniku ciągłego zalecają co najmniej 70 osób z pomiarem (35 na grupę), a do oszacowania odsetka zdarzeń w grupie 60–100 osób. Dodają, że większy pilotaż jest efektywniejszy niż zawyżanie niepewnych oszacowań. Nasz pilotaż z 59 osobami był więc za mały, by precyzyjnie ustalić retencję. To również warto napisać wprost w raporcie.

Krok 5. Raport według CONSORT dla pilotaży

Rozszerzenie CONSORT dla randomizowanych pilotaży i badań wykonalności, które opracowali Eldridge, Chan i in. (2016), to lista 26 punktów. Wymaga m.in. opisu, jak identyfikowano uczestników i uzyskiwano zgodę, oraz podania wcześniej określonych kryteriów przejścia do badania głównego. Dodaj diagram przepływu (zgłoszeni → kwalifikujący się → zrandomizowani → z pomiarem) i tabelę kryteriów postępu z wynikami. Mellor i in. (2023) zalecają przedstawianie kryteriów właśnie w tabeli. Wyniki kliniczne podaj opisowo, jako średnie i SD w grupach, bez testów skuteczności. Plan analizy badania głównego rozpisz osobno, np. według poradnika plan analizy statystycznej i prerejestracja.

Pilotaż z randomizacją miał ocenić wykonalność badania głównego według kryteriów postępu określonych w protokole (zielona / bursztynowa / czerwona strefa). W ciągu 6 miesięcy zgłosiło się 235 opiekunów, 145 spełniło kryteria włączenia (61.7%, 95% CI [55.3, 67.7]), a 59 wyraziło zgodę i zostało zrandomizowanych (40.7%, 95% CI [33.0, 48.8]; strefa bursztynowa). Tempo randomizacji wyniosło 9.83 osoby na miesiąc, 95% CI [7.49, 12.68] (bursztynowa). Pomiar po 12 tygodniach uzyskano od 45 z 59 osób (76.3%, 95% CI [64.0, 85.3]; bursztynowa), a 23 z 30 osób z grupy programu uczestniczyły w co najmniej 4 z 6 sesji (76.7%, 95% CI [59.1, 88.2]; zielona). Przedziały ufności wyznaczono metodą Wilsona (odsetki) i dokładną metodą Poissona (tempo). Zgodnie z celem pilotażu nie testowano skuteczności interwencji. Na podstawie wyników zdecydowano o przejściu do badania głównego ze zmianami: włączeniem trzeciego ośrodka, uproszczeniem procedury zgody i możliwością zdalnego pomiaru końcowego.

Jeśli chcesz, żeby ktoś sprawdził kryteria postępu, policzył przedziały i scenariusze liczebności do wniosku albo przeczytał raport pilotażu oczami recenzenta, zajrzyj do oferty dla badaczy.

Przykład reprodukowalny

Analiza pilotażu wykonalności w R: wskaźniki, kryteria postępu i precyzja

Kod odtwarza wszystkie liczby z tekstu, tabel i rysunków. Przepis 1 symuluje przepływ uczestników, liczy odsetki z 95% CI Wilsona i tempo z dokładnym przedziałem Poissona, przypisuje strefy kryteriów postępu i wylicza parametry do planu badania głównego. Przepis 2 liczy precyzję odsetka w zależności od liczebności pilotażu. Przedziały Wilsona liczy pakiet DescTools.

1. Wskaźniki wykonalności i kryteria postępu (tabele, rysunek 1)

Dane wejściowe: pilotaż z randomizacją, 6 miesięcy, dwie poradnie, 59 zrandomizowanych opiekunów (dane symulowane, set.seed(15501)); pakiet DescTools.

Co odczytać: liczby zgłoszonych, kwalifikujących się i zrandomizowanych, odsetki z 95% CI Wilsona, tempo randomizacji z 95% CI, tabelę stref kryteriów postępu, opis wyniku klinicznego bez testów, SD z 95% CI i scenariusze liczebności badania głównego.

R
# B155 – przepis 1: analiza wskaźników wykonalności w pilotażu z randomizacją
# Wpis: /blog/badanie-pilotazowe-wykonalnosci-feasibility/
# Uruchomienie z folderu kod/: LANG=en_US.UTF-8 LC_ALL=en_US.UTF-8 Rscript uruchom.R b155-1-wykonalnosc.R
# Projekt przykładowy (dane symulowane): pilotaż z randomizacją przed badaniem głównym programu
# psychoedukacyjnego (6 sesji grupowych) dla opiekunów osób z otępieniem; dwie poradnie, 6 miesięcy rekrutacji.
# Pilotaż NIE testuje skuteczności: liczymy odsetki i tempo z 95% CI i porównujemy je z kryteriami postępu.
suppressPackageStartupMessages(library(DescTools))

# 1. Symulacja przepływu uczestników ------------------------------------------------
set.seed(15501)
mies <- 6
zgloszeni <- rpois(mies, 36)                                  # osoby zgłoszone/przesiane w kolejnych miesiącach
kwalif <- rbinom(mies, zgloszeni, 0.62)                       # spełniają kryteria
zgoda <- rbinom(mies, kwalif, 0.42)                           # zgoda i randomizacja
N <- sum(zgoda)
os <- data.frame(id = 1:N, miesiac = rep(1:mies, zgoda), grupa = sample(rep(c("program", "kontrola"), length.out = N)))
os$pomiar12 <- rbinom(N, 1, ifelse(os$grupa == "program", 0.78, 0.86))     # pomiar po 12 tygodniach
os$sesje <- ifelse(os$grupa == "program", pmin(6, rbinom(N, 6, 0.70) + rbinom(N, 1, 0.3)), NA)
os$obc0 <- round(pmin(48, pmax(0, rnorm(N, 26, 8))))                       # obciążenie opiekuna 0–48
os$obc12 <- ifelse(os$pomiar12 == 1,
                   round(pmin(48, pmax(0, 0.6 * os$obc0 + 10 - 2 * (os$grupa == "program") + rnorm(N, 0, 6.5)))), NA)
write.csv(os, "../pilotaz-wykonalnosc-dane.csv", row.names = FALSE)
data.frame(miesiac = 1:mies, zgloszeni, kwalif, zgoda)
c(zgloszeni = sum(zgloszeni), kwalifikujacy = sum(kwalif), zrandomizowani = N)
table(os$grupa)

# 2. Wskaźniki wykonalności z 95% CI -------------------------------------------------
wilson <- function(x, n) { ci <- BinomCI(x, n, method = "wilson"); c(x = x, n = n, est = ci[1], dol = ci[2], gor = ci[3]) }
tempo <- poisson.test(N, T = mies)                            # tempo randomizacji na miesiąc (dokładny CI Poissona)
wsk <- rbind(
  kwalifikowalnosc = wilson(sum(kwalif), sum(zgloszeni)),
  zgoda = wilson(N, sum(kwalif)),
  retencja = wilson(sum(os$pomiar12), N),
  adherencja = wilson(sum(os$sesje >= 4, na.rm = TRUE), sum(os$grupa == "program")))
round(wsk, 3)
round(c(tempo_na_miesiac = unname(tempo$estimate), dol = tempo$conf.int[1], gor = tempo$conf.int[2]), 2)
# retencja w grupach – tylko opisowo, bez testu
round(t(sapply(split(os$pomiar12, os$grupa), function(x) wilson(sum(x), length(x)))), 3)

# 3. Kryteria postępu (ustalone w protokole) i ocena ---------------------------------
kryteria <- data.frame(
  wskaznik = c("tempo randomizacji (os./mies.)", "zgoda wśród kwalifikujących się", "retencja po 12 tyg.",
               "adherencja (≥ 4 z 6 sesji)"),
  zielone = c(10, .50, .80, .70), czerwone = c(7, .35, .65, .50),
  est = c(tempo$estimate, wsk[c("zgoda", "retencja", "adherencja"), "est"]),
  dol = c(tempo$conf.int[1], wsk[c("zgoda", "retencja", "adherencja"), "dol"]),
  gor = c(tempo$conf.int[2], wsk[c("zgoda", "retencja", "adherencja"), "gor"]))
kolor <- function(x, z, c) ifelse(x >= z, "zielony", ifelse(x >= c, "bursztynowy", "czerwony"))
kryteria$ocena_punktowa <- kolor(kryteria$est, kryteria$zielone, kryteria$czerwone)
kryteria$ocena_dolna_granica_CI <- kolor(kryteria$dol, kryteria$zielone, kryteria$czerwone)
kryteria[, 2:6] <- round(kryteria[, 2:6], 3)
print(kryteria, row.names = FALSE)

# 4. Wynik kliniczny: tylko opis i parametry do planu badania głównego -----------------
ok <- os[os$pomiar12 == 1, ]
round(t(sapply(split(ok$obc12, ok$grupa), function(x) c(n = length(x), M = mean(x), SD = sd(x)))), 2)
r_pp <- cor(ok$obc0, ok$obc12)
m_res <- lm(obc12 ~ grupa, ok)
sd_p <- sigma(m_res); df_p <- m_res$df.residual
sd_ci <- sqrt(df_p * sd_p^2 / qchisq(c(.975, .025), df_p))   # 95% CI dla SD (rozkład chi-kwadrat)
round(c(r_pre_post = r_pp, SD_zbiorcze = sd_p, SD_dol = sd_ci[1], SD_gor = sd_ci[2], df = df_p), 2)
# liczebność badania głównego dla SESOI = 4 pkt (ANCOVA ≈ t-test z SD × sqrt(1 − r²)) przy trzech wartościach SD
sesoi <- 4
n_dla <- function(sd) ceiling(power.t.test(delta = sesoi, sd = sd * sqrt(1 - r_pp^2), power = .90)$n)
c(n_na_grupe_SD_pilotaz = n_dla(sd_p), n_na_grupe_SD_dol = n_dla(sd_ci[1]), n_na_grupe_SD_gor = n_dla(sd_ci[2]))
# po uwzględnieniu retencji z pilotażu (punktowo i dolna granica CI)
c(randomizowac_na_grupe = ceiling(n_dla(sd_p) / wsk["retencja", "est"]),
  randomizowac_pesymistycznie = ceiling(n_dla(sd_p) / wsk["retencja", "dol"]))
saveRDS(list(os = os, wsk = wsk, kryteria = kryteria, tempo = tempo), "b155-1.rds")
Wynik w R
  miesiac zgloszeni kwalif zgoda
1       1        36     23    11
2       2        31     20     8
3       3        36     25     9
4       4        46     23     9
5       5        42     27     9
6       6        44     27    13
     zgloszeni  kwalifikujacy zrandomizowani 
           235            145             59 

kontrola  program 
      29       30 
                   x   n   est   dol   gor
kwalifikowalnosc 145 235 0.617 0.553 0.677
zgoda             59 145 0.407 0.330 0.488
retencja          45  59 0.763 0.640 0.853
adherencja        23  30 0.767 0.591 0.882
tempo_na_miesiac              dol              gor 
            9.83             7.49            12.68 
          x  n   est   dol   gor
kontrola 23 29 0.793 0.616 0.902
program  22 30 0.733 0.556 0.858
                        wskaznik zielone czerwone   est   dol    gor ocena_punktowa
  tempo randomizacji (os./mies.)    10.0     7.00 9.833 7.486 12.684    bursztynowy
 zgoda wśród kwalifikujących się     0.5     0.35 0.407 0.330  0.488    bursztynowy
             retencja po 12 tyg.     0.8     0.65 0.763 0.640  0.853    bursztynowy
      adherencja (≥ 4 z 6 sesji)     0.7     0.50 0.767 0.591  0.882        zielony
 ocena_dolna_granica_CI
            bursztynowy
               czerwony
               czerwony
            bursztynowy
          n     M   SD
kontrola 23 26.26 8.88
program  22 25.95 7.45
 r_pre_post SD_zbiorcze      SD_dol      SD_gor          df 
       0.67        8.21        6.79       10.41       43.00 
n_na_grupe_SD_pilotaz     n_na_grupe_SD_dol     n_na_grupe_SD_gor 
                   50                    35                    80 
      randomizowac_na_grupe randomizowac_pesymistycznie 
                         66                          79 

2. Precyzja odsetka a liczebność pilotażu (rysunek 2)

Dane wejściowe: siatka liczebności 20–150 i obserwowane odsetki 50%, 70% i 80%; pakiet DescTools.

Co odczytać: połowę szerokości 95% CI Wilsona dla 30, 60, 100 i 150 osób oraz najmniejszą liczebność dającą dokładność ±10 punktów procentowych.

R
# B155 – przepis 2: ile osób do pilotażu, by oszacować odsetek z akceptowalną precyzją (rysunek 2)
# Wpis: /blog/badanie-pilotazowe-wykonalnosci-feasibility/
# Uruchomienie z folderu kod/: LANG=en_US.UTF-8 LC_ALL=en_US.UTF-8 Rscript uruchom.R b155-2-precyzja.R
# Połowa szerokości 95% CI Wilsona, gdy obserwowany odsetek wynosi 50%, 70% lub 80%.
suppressPackageStartupMessages(library(DescTools))
siatka <- expand.grid(n = seq(20, 150, by = 5), p = c(.5, .7, .8))
siatka$polowa_CI <- mapply(function(n, p) {
  ci <- BinomCI(round(n * p), n, method = "wilson"); (ci[3] - ci[2]) / 2
}, siatka$n, siatka$p)
wybrane <- subset(siatka, n %in% c(30, 60, 100, 150))
print(reshape(transform(wybrane, polowa_CI = round(polowa_CI, 3)), idvar = "n", timevar = "p", direction = "wide"),
      row.names = FALSE)
# najmniejsze n, przy którym połowa CI ≤ 10 punktów procentowych
sapply(split(siatka, siatka$p), function(s) min(s$n[s$polowa_CI <= .10]))
saveRDS(siatka, "b155-2.rds")
Wynik w R
   n polowa_CI.0.5 polowa_CI.0.7 polowa_CI.0.8
  30         0.168         0.156         0.139
  60         0.123         0.113         0.100
 100         0.096         0.088         0.078
 150         0.079         0.073         0.064
0.5 0.7 0.8 
 95  80  60 

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (dokładny przedział Poissona: poisson.test(), liczebność: power.t.test() z pakietu stats); rysunki przygotowano w ggplot2. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. DescTools (wersja 0.99.60): Signorell, A. (2025). DescTools: Tools for descriptive statistics [R package]. https://doi.org/10.32614/CRAN.package.DescTools
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org

Najczęstsze błędy w pilotażach wykonalności

  • Test skuteczności na kilkudziesięciu osobach. Nieistotny wynik niczego nie dowodzi, a „istotny” bywa przypadkiem i zachęca do zbyt małego badania głównego (Leon i in., 2011).
  • Kryteria postępu ustalone po fakcie albo bez uzasadnienia. Wtedy każdy wynik da się przedstawić jako sukces.
  • Same odsetki bez przedziałów ufności. 76% z 59 osób to zupełnie inna informacja niż 76% z 300.
  • Przedział Walda dla małych prób. Używaj przedziału Wilsona (Brown i in., 2001).
  • Wielkość efektu z pilotażu jako podstawa liczebności. Z pilotażu bierzesz SD, korelacje i odpadanie, a efekt – z SESOI.
  • Pominięcie danych jakościowych. Liczby mówią, że retencja jest za niska. Rozmowy z uczestnikami mówią dlaczego.

Jeśli badanie główne będzie losować całe placówki, a nie osoby, w pilotażu sprawdź też rekrutację placówek i oszacuj ICC. Logikę takich badań opisujemy we wpisie o badaniu z randomizacją klastrową.

Najczęstsze pytania

Co to są kryteria postępu w badaniu pilotażowym?

To ustalone w protokole progi wskaźników wykonalności (np. tempa rekrutacji, retencji, adherencji), które decydują, czy przejść do badania głównego bez zmian, ze zmianami, czy z niego zrezygnować. Najczęściej mają układ sygnalizacji świetlnej: zielony, bursztynowy i czerwony. Każdy próg uzasadnij, np. liczebnością i budżetem badania głównego.

Jak policzyć przedział ufności dla odsetka retencji w pilotażu?

Użyj przedziału Wilsona, a nie Walda, bo przy małych próbach przedział Walda ma niewiarygodne pokrycie (Brown i in., 2001). Dla 45 osób z pomiarem na 59 zrandomizowanych daje to 76.3%, 95% CI [64.0, 85.3]. Tempo rekrutacji na miesiąc licz z dokładnego przedziału Poissona.

Czy w pilotażu wykonalności testuje się skuteczność interwencji?

Nie. Pilotaż jest za mały, by rzetelnie ocenić efekt, a jego celem jest ocena wykonalności (Leon i in., 2011). Wyniki kliniczne podaj opisowo, jako średnie i SD w grupach, i wykorzystaj je do oszacowania parametrów badania głównego, np. SD i korelacji pomiarów.

Ile osób zrandomizować w pilotażu przed badaniem RCT?

Tyle, by z akceptowalną precyzją oszacować kluczowy wskaźnik. Przy retencji około 80% dokładność ±10 punktów procentowych daje ok. 60 osób, a przy odsetku około 50% – ok. 95. Teare i in. (2014) zalecają co najmniej 70 osób z pomiarem do oszacowania SD i 60–100 do oszacowania odsetka zdarzeń.

Co zrobić, gdy wskaźniki pilotażu są w strefie bursztynowej?

Zwykle kontynuować ze zmianami: dodać ośrodki, uprościć procedurę zgody, wprowadzić przypomnienia lub zdalny pomiar i przyjąć ostrożniejsze założenia w planie liczebności. Decyzję podejmij z uwzględnieniem wszystkich kryteriów naraz i kontekstu, a nie każdego progu osobno (Mellor i in., 2023).

Powiązane hasła

Przeczytaj też

Przygotowujesz pilotaż przed dużym badaniem i chcesz dobrze ustawić kryteria?

Pomożemy uzasadnić progi postępu, policzymy wskaźniki z przedziałami ufności i scenariusze liczebności badania głównego, a interpretację i decyzje zostawimy w Twoich rękach.

Oferta dla badaczyPorozmawiaj o projekcie

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Avery, K. N. L., Williamson, P. R., Gamble, C., O’Connell Francischetto, E., Metcalfe, C., Davidson, P., Williams, H., & Blazeby, J. M. (2017). Informing efficient randomised controlled trials: Exploration of challenges in developing progression criteria for internal pilot studies. BMJ Open, 7(2), Article e013537. https://doi.org/10.1136/bmjopen-2016-013537 ● Otwarty dostęp
  2. Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101–133. https://doi.org/10.1214/ss/1009213286
  3. Eldridge, S. M., Chan, C. L., Campbell, M. J., Bond, C. M., Hopewell, S., Thabane, L., & Lancaster, G. A. (2016). CONSORT 2010 statement: Extension to randomised pilot and feasibility trials. BMJ, 355, Article i5239. https://doi.org/10.1136/bmj.i5239 ● Otwarty dostęp
  4. Eldridge, S. M., Lancaster, G. A., Campbell, M. J., Thabane, L., Hopewell, S., Coleman, C. L., & Bond, C. M. (2016). Defining feasibility and pilot studies in preparation for randomised controlled trials: Development of a conceptual framework. PLOS ONE, 11(3), Article e0150205. https://doi.org/10.1371/journal.pone.0150205 ● Otwarty dostęp
  5. Lancaster, G. A., Dodd, S., & Williamson, P. R. (2004). Design and analysis of pilot studies: Recommendations for good practice. Journal of Evaluation in Clinical Practice, 10(2), 307–312. https://doi.org/10.1111/j..2002.384.doc.x
  6. Leon, A. C., Davis, L. L., & Kraemer, H. C. (2011). The role and interpretation of pilot studies in clinical research. Journal of Psychiatric Research, 45(5), 626–629. https://doi.org/10.1016/j.jpsychires.2010.10.008 ● Otwarty dostęp
  7. Mellor, K., Albury, C., Dutton, S. J., Eldridge, S., & Hopewell, S. (2023). Recommendations for progression criteria during external randomised pilot trial design, conduct, analysis and reporting. Pilot and Feasibility Studies, 9(1), Article 59. https://doi.org/10.1186/s40814-023-01291-5 ● Otwarty dostęp
  8. Mellor, K., Eddy, S., Peckham, N., Bond, C. M., Campbell, M. J., Lancaster, G. A., Thabane, L., Eldridge, S. M., Dutton, S. J., & Hopewell, S. (2021). Progression from external pilot to definitive randomised controlled trial: A methodological review of progression criteria reporting. BMJ Open, 11(6), Article e048178. https://doi.org/10.1136/bmjopen-2020-048178 ● Otwarty dostęp
  9. Teare, M. D., Dimairo, M., Shephard, N., Hayman, A., Whitehead, A., & Walters, S. J. (2014). Sample size requirements to estimate key design parameters from external pilot randomised controlled trials: A simulation study. Trials, 15(1), Article 264. https://doi.org/10.1186/1745-6215-15-264 ● Otwarty dostęp
  10. Thabane, L., Ma, J., Chu, R., Cheng, J., Ismaila, A., Rios, L. P., Robson, R., Thabane, M., Giangregorio, L., & Goldsmith, C. H. (2010). A tutorial on pilot studies: The what, why and how. BMC Medical Research Methodology, 10(1), Article 1. https://doi.org/10.1186/1471-2288-10-1 ● Otwarty dostęp

Cytowania BibTeX

@article{avery2017informing, author={Avery, Kerry N. L. and Williamson, Paula R. and Gamble, Carrol and O'Connell Francischetto, Elaine and Metcalfe, Chris and Davidson, Peter and Williams, Hywel and Blazeby, Jane M.}, title={{Informing efficient randomised controlled trials: Exploration of challenges in developing progression criteria for internal pilot studies}}, journal={BMJ Open}, year={2017}, volume={7}, number={2}, eid={e013537}, doi={10.1136/bmjopen-2016-013537}}
@article{brown2001interval, author={Brown, Lawrence D. and Cai, T. Tony and DasGupta, Anirban}, title={{Interval estimation for a binomial proportion}}, journal={Statistical Science}, year={2001}, volume={16}, number={2}, pages={101--133}, doi={10.1214/ss/1009213286}}
@article{eldridge2016consort, author={Eldridge, Sandra M. and Chan, Claire L. and Campbell, Michael J. and Bond, Christine M. and Hopewell, Sally and Thabane, Lehana and Lancaster, Gillian A.}, title={{CONSORT 2010 statement: Extension to randomised pilot and feasibility trials}}, journal={BMJ}, year={2016}, volume={355}, eid={i5239}, doi={10.1136/bmj.i5239}}
@article{eldridge2016defining, author={Eldridge, Sandra M. and Lancaster, Gillian A. and Campbell, Michael J. and Thabane, Lehana and Hopewell, Sally and Coleman, Claire L. and Bond, Christine M.}, title={{Defining feasibility and pilot studies in preparation for randomised controlled trials: Development of a conceptual framework}}, journal={PLOS ONE}, year={2016}, volume={11}, number={3}, eid={e0150205}, doi={10.1371/journal.pone.0150205}}
@article{lancaster2004design, author={Lancaster, Gillian A. and Dodd, Susanna and Williamson, Paula R.}, title={{Design and analysis of pilot studies: Recommendations for good practice}}, journal={Journal of Evaluation in Clinical Practice}, year={2004}, volume={10}, number={2}, pages={307--312}, doi={10.1111/j..2002.384.doc.x}}
@article{leon2011role, author={Leon, Andrew C. and Davis, Lori L. and Kraemer, Helena C.}, title={{The role and interpretation of pilot studies in clinical research}}, journal={Journal of Psychiatric Research}, year={2011}, volume={45}, number={5}, pages={626--629}, doi={10.1016/j.jpsychires.2010.10.008}}
@article{mellor2023recommendations, author={Mellor, Katie and Albury, Charlotte and Dutton, Susan J. and Eldridge, Sandra and Hopewell, Sally}, title={{Recommendations for progression criteria during external randomised pilot trial design, conduct, analysis and reporting}}, journal={Pilot and Feasibility Studies}, year={2023}, volume={9}, number={1}, eid={59}, doi={10.1186/s40814-023-01291-5}}
@article{mellor2021progression, author={Mellor, Katie and Eddy, Saskia and Peckham, Nicholas and Bond, Christine M. and Campbell, Michael J. and Lancaster, Gillian A. and Thabane, Lehana and Eldridge, Sandra M. and Dutton, Susan J. and Hopewell, Sally}, title={{Progression from external pilot to definitive randomised controlled trial: A methodological review of progression criteria reporting}}, journal={BMJ Open}, year={2021}, volume={11}, number={6}, eid={e048178}, doi={10.1136/bmjopen-2020-048178}}
@article{teare2014sample, author={Teare, M. Dawn and Dimairo, Munyaradzi and Shephard, Neil and Hayman, Alex and Whitehead, Amy and Walters, Stephen J.}, title={{Sample size requirements to estimate key design parameters from external pilot randomised controlled trials: A simulation study}}, journal={Trials}, year={2014}, volume={15}, number={1}, eid={264}, doi={10.1186/1745-6215-15-264}}
@article{thabane2010tutorial, author={Thabane, Lehana and Ma, Jinhui and Chu, Rong and Cheng, Ji and Ismaila, Afisi and Rios, Lorena P. and Robson, Reid and Thabane, Marroon and Giangregorio, Lora and Goldsmith, Charles H.}, title={{A tutorial on pilot studies: The what, why and how}}, journal={BMC Medical Research Methodology}, year={2010}, volume={10}, number={1}, eid={1}, doi={10.1186/1471-2288-10-1}}
R