Publikacje naukowe · Planowanie badań

Analizy pośrednie i badania sekwencyjne w praktyce: plan, symulacja i raport w R

Plan grupowo-sekwencyjny pozwala zakończyć eksperyment wcześniej bez zawyżania błędu I rodzaju. Na jednym przykładzie w R (pakiet rpact) porównujemy granice Pococka i O'Briena–Fleminga, liczymy wzrost maksymalnej liczebności, sprawdzamy w symulacji test t z korektą i bez, dodajemy granicę daremności i pokazujemy, jak bardzo wczesne zatrzymanie zawyża d.

Strona główna / Blog / Analizy pośrednie w praktyce
W skrócie: Plan grupowo-sekwencyjny ustala z góry kilka analiz i granice zatrzymania, więc błąd I rodzaju zostaje na poziomie α (w symulacji 2.5%, a bez korekty 5.3% przy trzech analizach). Granice typu O'Briena–Fleminga zwiększają maksymalne N tylko o 1.2%, granice Pococka o 15.1%, ale częściej kończą badanie wcześnie. Granica daremności skraca badanie bez efektu z 267 do 175 osób. Badanie przerwane wcześnie zawyża efekt, dlatego podaj oszacowanie skorygowane obok zwykłego.

Kiedy plan sekwencyjny ma sens

Planujesz eksperyment z dwiema grupami. Analiza mocy mówi, że do wykrycia najmniejszego efektu, na którym Ci zależy, potrzebujesz kilkuset osób. Jeśli jednak efekt jest większy, niż zakładasz, część tych osób zbierzesz niepotrzebnie. Jeśli efektu nie ma wcale, zbierzesz wszystkie i dowiesz się tego dopiero na końcu. Plan grupowo-sekwencyjny rozwiązuje oba problemy. Z góry ustalasz kilka analiz i granice, których przekroczenie kończy badanie. Lakens (2014) pokazuje, że w psychologii takie analizy pozwalają zakończyć badanie, gdy wyniki są dostatecznie przekonujące, albo przerwać je, gdy przewidywany efekt jest skrajnie mało prawdopodobny. Błąd I rodzaju pozostaje przy tym pod kontrolą.

To co innego niż opcjonalne zatrzymywanie, czyli sprawdzanie p „po drodze” bez korekty. Definicje i klasyczne granice opisują hasła analiza pośrednia i reguły zatrzymania oraz funkcja wydatkowania alfa. Skutki podglądania w teście A/B pokazuje wpis test A/B – plan i analiza. Ten tekst przechodzi przez cały plan na jednym eksperymencie: liczebność, symulację z testem t, daremność, obciążenie oszacowania i raport. Gdy decyzja ma zapadać po każdej osobie, a nie po grupach osób, sięgnij po SPRT.

Przykład: eksperyment z trzema analizami

Zespół sprawdza, czy krótkie pisanie ekspresywne przed egzaminem obniża lęk egzaminacyjny. Lęk mierzy skala o odchyleniu standardowym 10 punktów. Za najmniejszy interesujący efekt przyjęto 4 punkty, czyli d Cohena = 0.4. Hipoteza jest kierunkowa, więc stosujemy jednostronny test t dla prób niezależnych z α = .025, co odpowiada górnemu ogonowi testu dwustronnego na poziomie .05. Planowana moc to 90%. W planie stałym, z jedną analizą na końcu, potrzeba 133 osób w grupie, czyli 266 łącznie.

Plan sekwencyjny przewiduje trzy analizy: po zebraniu 1/3 danych, 2/3 danych i całości. Tabela porównuje cztery sposoby wyznaczenia granic. Wszystkie dane są symulowane, a liczebności policzono w pakiecie rpact.

Granice z, nominalne p w analizie końcowej, maksymalna i oczekiwana liczebność czterech planów z trzema analizami przy d = 0.4 i mocy 90%
PlanGranice z (analizy 1, 2, 3)Nominalne p na końcuMaks. N (wzrost)Oczekiwane N, brak efektuOczekiwane N, d = 0.4
Pocock2.289; 2.289; 2.289.0110304.5 (+15.1%)301.4190.8
O'Brien–Fleming3.471; 2.454; 2.004.0225268.9 (+1.6%)268.2211.4
Lan–DeMets typu Pococka2.279; 2.295; 2.296.0108305.4 (+15.4%)302.3190.8
Lan–DeMets typu OBF3.710; 2.511; 1.993.0231267.8 (+1.2%)267.2214.7

Wzrost liczebności liczono względem planu stałego w tym samym przybliżeniu normalnym (N = 264.6). Dalej wybieramy plan Lana–DeMetsa typu OBF. Zaokrąglony w górę daje analizy po 45, 90 i 134 osobach w grupie.

Pocock, O'Brien–Fleming i funkcja wydatkowania

Pocock (1977) zaproponował plan, w którym po każdej równej grupie osób wykonuje się test na wszystkich dotąd zebranych danych; jego granica jest taka sama w każdej analizie. Granica O'Briena i Fleminga jest bardzo surowa na początku i zbliża się do zwykłej wartości krytycznej na końcu. Autorzy pokazali, że łączny poziom istotności i moc ich procedury są praktycznie takie jak w pojedynczym teście na pełnej próbie (O'Brien i Fleming, 1979). Rysunek 1 pokazuje różnicę na naszym przykładzie. W planie Pococka każda analiza wymaga p < .0110, także końcowa. W planie typu OBF pierwsza analiza wymaga p < .0001, a końcowa tylko p < .0231.

Wykres liniowy granic z w trzech analizach przy alfa .025 jednostronnie: bez korekty 1.96 w każdej analizie, Pocock 2.289 w każdej, O'Brien–Fleming 3.471, 2.454 i 2.004, Lan–DeMets typu OBF 3.710, 2.511 i 1.993 (nominalne p .0001, .0060 i .0231)
Rysunek 1. Krytyczne wartości z w planie z trzema analizami (α = .025 jednostronnie) i odpowiadające im nominalne progi p. Linia przerywana to przykładowa granica daremności (z = 0). Obliczenia: R, pakiet rpact.

Klasyczne granice wymagają ustalenia z góry liczby analiz i ich terminów. Lan i DeMets (1983) zastąpili je funkcją α*(t), która mówi, ile błędu I rodzaju „wydano” do chwili zebrania odsetka t informacji. W naszym planie skumulowane α wynosi .0001, .0060 i .0250. Granica w danej analizie zależy tylko od dotychczasowych i bieżącego momentu, a nie od przyszłych. W praktyce to ważne, bo rekrutacja rzadko idzie zgodnie z kalendarzem.

Załóżmy, że analizy wypadły po 60 i 110 osobach w grupie zamiast po 45 i 90. Po przeliczeniu granic dla faktycznych odsetków informacji nominalne progi wynoszą p < .000809, .0131 i .021. W symulacji 20 000 badań bez efektu błąd I rodzaju wyniósł 2.4%, a moc przy d = 0.4 – 89.8%. Pozostawienie starych granic dało 2.3% fałszywych alarmów, ale oczekiwane N przy prawdziwym efekcie wzrosło z 215.0 do 230.3. Elastyczność dotyczy jednak terminów analiz. Funkcji nie zmieniasz po obejrzeniu danych.

Symulacja: podglądanie bez korekty i z korektą

Granice wyznacza się dla statystyki z, a w psychologii analizujesz dane testem t. Lakens i in. (2021) pokazują, jak zaplanować plan grupowo-sekwencyjny dla testów t w rpact. Prosta reguła to porównanie p z testu t z nominalnym progiem z planu. Sprawdziliśmy ją w symulacji: 20 000 badań na wariant, osobno bez efektu i przy d = 0.4. Błąd Monte Carlo dla odsetka 2.5% wynosi 0.11 punktu procentowego.

Symulowany błąd I rodzaju, moc i średnia liczebność dla planu stałego, trzech analiz bez korekty i planów sekwencyjnych z testem t
Wariantn w grupie w analizachBłąd I rodzajuŚrednie N, brak efektuMoc przy d = 0.4Średnie N, d = 0.4
Plan stały1332.4%266.090.1%266.0
Trzy analizy bez korekty45/90/1345.3%262.192.2%157.5
Pocock51/102/1532.5%303.090.3%192.5
Lan–DeMets typu OBF45/90/1342.5%267.490.0%215.8

Trzy spojrzenia bez korekty podwoiły błąd I rodzaju (5.3% wobec nominalnych 2.5%). Armitage i in. (1969) pokazali, że przy powtarzaniu testu na tym samym nominalnym poziomie szansa wyniku istotnego na którymś etapie może znacznie przekroczyć ten poziom. Wystarczą do tego trzy analizy. Oba plany sekwencyjne utrzymały 2.5%. Gdy efekt istnieje, plan Pococka kończył się średnio po 192.5 osobach, a plan typu OBF po 215.8, wobec 266 w planie stałym. Bez efektu plan Pococka kosztował 303.0 osoby, czyli więcej niż plan stały. Plan typu OBF prawie nic nie kosztował (267.4).

Koszt i zysk: maksymalne a oczekiwane N

Plan sekwencyjny ma dwie liczebności. Maksymalną, którą musisz móc zebrać, gdy badanie dojdzie do końca, i oczekiwaną, czyli średnią po wielu powtórzeniach badania. Kim i DeMets (1987) badali obie przy wyborze funkcji wydatkowania. Granice typu OBF zwiększają maksimum minimalnie, ale rzadko kończą badanie w pierwszej analizie. Granice typu Pococka częściej kończą je wcześnie, ale wymagają o około 15% większego maksimum.

Wykres oczekiwanej łącznej liczebności w zależności od prawdziwego d od 0 do 0.6: plan stały 264.6; plan Pococka od 301.4 przy d = 0 do 127.5 przy d = 0.6; plan typu OBF od 267.2 do 167.9; plan typu OBF z granicą daremności 175.3 przy d = 0, 235.3 przy d = 0.2 i 173.1 przy d = 0.6
Rysunek 2. Oczekiwane N (obie grupy) czterech planów zaprojektowanych na d = 0.4 i moc 90%, w zależności od prawdziwego efektu. Plan stały w przybliżeniu normalnym. Obliczenia: R, pakiet rpact.

Rysunek 2 pokazuje, od czego zależy wybór. Przy dużym prawdziwym efekcie (d = 0.6) plan Pococka kończy się średnio po 127.5 osobach, a plan typu OBF po 167.9. Przy efekcie zerowym lub bardzo małym plan Pococka jest najdroższy. Jeśli nie wiesz, jaki efekt naprawdę istnieje, a budżet jest sztywny, zwykle bezpieczniejsze są granice typu OBF. W registered report albo wniosku grantowym podaj maksymalne N, bo na nie musisz mieć zasoby. Ogólne zasady opisuje wpis o doborze liczebności próby.

Granica daremności: wiążąca czy niewiążąca

Plan typu OBF bez dodatkowych reguł prawie nie oszczędza osób, gdy efektu nie ma (267.2). Tę oszczędność daje granica daremności. W przykładzie przyjęto najprostszą: przerwij w analizie 1 lub 2, gdy z < 0, czyli gdy efekt idzie w złą stronę. Hasło o daremności omawia kryterium mocy warunkowej. Lakens i in. (2021) opisują też granice wyznaczane funkcją wydatkowania β.

Wpływ granicy daremności z mniejszego od zera na granicę końcową, maksymalną i oczekiwaną liczebność oraz prawdopodobieństwo przerwania z powodu daremności
Plan (Lan–DeMets typu OBF)Granica z na końcuMaks. NOczekiwane N, brak efektuOczekiwane N, d = 0.4Przerwanie z daremności: brak efektu / d = 0.4
Bez daremności1.993267.8267.2214.70 / 0
Daremność niewiążąca1.993281.5175.3217.862.5% / 2.8%
Daremność wiążąca1.968278.0173.2215.762.5% / 2.9%

Gdy efektu nie ma, granica daremności skraca badanie średnio z 267.2 do 175.3 osób. Ceną jest strata mocy: część badań z prawdziwym efektem (2.8%) zostanie błędnie przerwana. Dlatego maksymalne N rośnie do 281.5, żeby utrzymać moc 90%. Lachin (2005) opisuje ten mechanizm: reguła daremności obniża błąd I rodzaju i zwiększa błąd II rodzaju.

Granica niewiążąca pozwala kontynuować badanie mimo jej przekroczenia, a błąd I rodzaju i tak jest kontrolowany. Granica wiążąca wykorzystuje fakt, że badanie na pewno zostanie przerwane, i obniża próg końcowy (1.968 zamiast 1.993). Jeśli jednak ją zignorujesz, błąd I rodzaju przekroczy α. W badaniach akademickich, gdzie decyzję o kontynuacji podejmuje sam zespół, bezpieczniejsza jest granica niewiążąca. W badaniach klinicznych wyniki pośrednie ocenia zwykle komitet monitorowania danych.

Obciążenie oszacowania po wczesnym zatrzymaniu

Badanie kończy się wcześnie wtedy, gdy wynik przekroczy surową granicę. Częściej dzieje się tak w próbach, w których efekt losowo wypadł duży. Whitehead (1986) pokazał, że zwykłe oszacowanie największej wiarygodności obliczone na końcu procedury sekwencyjnej jest obciążone, i zaproponował oszacowanie skorygowane. Bassler i in. (2010) porównali 91 badań klinicznych przerwanych z powodu korzyści z 424 badaniami na ten sam temat, których nie przerwano. W badaniach przerwanych efekty były większe, niezależnie od obecności formalnej reguły zatrzymania, a różnice były największe w mniejszych badaniach.

Wykres słupkowy średniego oszacowanego d w chwili zatrzymania: przy prawdziwym d = 0.4 analiza 1 – 0.91 (3.0% badań), analiza 2 – 0.50 (52.5%), analiza 3 – 0.31 (44.5%), wszystkie badania 0.43; przy d = 0.2 odpowiednio 0.88 (0.3%), 0.45 (12.1%), 0.18 (87.6%) i 0.21
Rysunek 3. Średnie d Cohena w chwili zakończenia badania według analizy, w której badanie się zakończyło (plan Lana–DeMetsa typu OBF, 45/90/134 osoby w grupie). Linia przerywana to prawdziwy efekt. 20 000 badań na panel. Obliczenia: R (dane symulowane).

W naszej symulacji (20 000 badań przy prawdziwym d = 0.4) 3.0% badań zatrzymało się w pierwszej analizie ze średnim d = 0.91. W drugiej analizie zatrzymało się 52.5% badań, ze średnim d = 0.50. Badania doprowadzone do końca dały średnio 0.31. Po uśrednieniu wszystkich badań obciążenie jest niewielkie (0.43 wobec 0.40), ale pojedynczy artykuł raportuje jedno badanie, zwykle właśnie to zatrzymane wcześnie. Przy mniejszym prawdziwym efekcie (d = 0.2) średnie d wśród wyników istotnych wyniosło 0.36. To ten sam mechanizm co klątwa zwycięzcy i błąd typu M.

Co z tym zrobić? Lakens i in. (2021) omawiają, jak raportować skorygowane oszacowania i przedziały ufności. Weźmy pierwsze symulowane badanie zatrzymane w analizie 2. Prawdziwa różnica wynosi 4 punkty. Zwykła różnica średnich po 90 osobach w grupie to 6.29 punktu (d = 0.64), 95% CI [3.40, 9.18]. Funkcja getAnalysisResults() z rpact podaje oszacowanie mediano-nieobciążone 6.03 i przedział skorygowany o plan sekwencyjny, 95% CI [3.02, 8.94], przy końcowym p = .000115. Korekta nie usuwa całego zawyżenia w jednym badaniu, ale przesuwa wynik i poszerza przedział we właściwą stronę. Podaj oba zestawy liczb.

Jak opisać plan i wynik

Plan zapisz przed zebraniem danych w planie analizy statystycznej i prerejestracji: liczbę i terminy analiz, funkcję wydatkowania, granicę daremności (wiążąca czy nie), test i maksymalne N. Ukryta albo dopisana później reguła zatrzymania to p-hacking, nawet jeśli granice wyglądają poprawnie.

Zaplanowano grupowo-sekwencyjny plan z dwiema analizami pośrednimi (po zebraniu 1/3 i 2/3 danych) i analizą końcową. Błąd I rodzaju (α = .025, test jednostronny) rozdzielono funkcją wydatkowania Lana–DeMetsa typu O'Briena–Fleminga; nominalne progi p wynosiły .0001, .0060 i .0231. W analizach pośrednich badanie miało zostać przerwane z powodu daremności, gdy z < 0 (granica niewiążąca). Przy d = 0.4 i mocy 90% maksymalna liczebność wynosiła 141 osób w grupie (analizy po 47, 94 i 141 osobach), a oczekiwana łączna liczebność 217.8 przy efekcie z planu i 175.3 przy braku efektu. Przy zmianie terminów analiz granice zostaną przeliczone dla faktycznego odsetka informacji. Obliczenia: R, pakiet rpact.
Zgodnie z planem przeprowadzono analizę pośrednią po zebraniu danych od 90 osób w każdej grupie. Statystyka testu przekroczyła granicę skuteczności (nominalny próg p = .0060), więc zbieranie danych zakończono. Lęk egzaminacyjny w grupie pisania ekspresywnego był niższy niż w grupie kontrolnej; zwykła różnica średnich wyniosła 6.29 punktu, 95% CI [3.40, 9.18], d = 0.64. Ponieważ oszacowanie po wczesnym zatrzymaniu jest zawyżone, podajemy też oszacowanie mediano-nieobciążone, 6.03 punktu, ze skorygowanym 95% CI [3.02, 8.94], końcowe p = .000115.

Jeśli plan sekwencyjny ma trafić do wniosku grantowego albo odpowiedzi recenzentom, możemy wspólnie sprawdzić granice, symulację i opis w ramach wsparcia statystycznego dla badaczy.

Przykład reprodukowalny

Przykład w R

Cztery przepisy niezależne od siebie: każdy możesz uruchomić osobno. Pierwszy i trzeci liczą plany analitycznie, drugi i czwarty symulują badania z testem t. Potrzebny jest pakiet rpact.

1. Liczebność i granice czterech planów

Dane wejściowe: d = 0.4, α = .025 jednostronnie, moc 90%, trzy analizy po 1/3, 2/3 i całości danych; bez danych losowych.

Co odczytać: liczebność planu stałego (133 osoby w grupie), granice z i nominalne p w analizie końcowej, maksymalne N i jego wzrost wobec planu stałego, oczekiwane N bez efektu i przy d = 0.4, skumulowane α w planie typu OBF i liczebności analiz 45/90/134.

R
# Plan: eksperyment z dwiema grupami (pisanie ekspresywne przed egzaminem a grupa kontrolna).
# Wynik: lęk egzaminacyjny (punkty, SD = 10). Najmniejszy interesujący efekt: 4 punkty, czyli d = 0.4.
# Hipoteza kierunkowa: test jednostronny, alfa = .025 (odpowiada górnemu ogonowi testu dwustronnego .05),
# moc 90%, trzy analizy: po 1/3, 2/3 i całości danych.
suppressPackageStartupMessages(library(rpact))
alfa <- 0.025; moc <- 0.90; d <- 0.4

# 1. Plan o stałej liczebności (jedna analiza na końcu)
n_staly <- ceiling(power.t.test(delta = d, sd = 1, sig.level = alfa, power = moc,
                                alternative = "one.sided")$n)
cat("Plan stały: n na grupę =", n_staly, " N łącznie =", 2 * n_staly, "\n\n")

# 2. Plany grupowo-sekwencyjne: klasyczne granice i funkcje wydatkowania Lana–DeMetsa
typy <- c(Pocock = "P", "O'Brien-Fleming" = "OF", "LD typu Pococka" = "asP", "LD typu OBF" = "asOF")
plany <- lapply(typy, function(t) getDesignGroupSequential(kMax = 3, alpha = alfa, beta = 1 - moc,
                                                         sided = 1, typeOfDesign = t))
tabela <- do.call(rbind, lapply(names(plany), function(nm) {
  pl <- plany[[nm]]
  ss <- getSampleSizeMeans(pl, alternative = d, stDev = 1)
  data.frame(plan = nm,
             z1 = pl$criticalValues[1], z2 = pl$criticalValues[2], z3 = pl$criticalValues[3],
             p3_nominalne = 1 - pnorm(pl$criticalValues[3]),
             N_max = ss$maxNumberOfSubjects,
             wzrost_proc = 100 * (ss$maxNumberOfSubjects / ss$nFixed - 1),
             EN_H0 = ss$expectedNumberOfSubjectsH0, EN_H1 = ss$expectedNumberOfSubjectsH1)
}))
cat("Granice z, nominalne p w analizie końcowej i liczebności (N łącznie, d = 0.4, moc 90%)\n")
print(cbind(tabela[1], round(tabela[2:4], 3), p3_nominalne = round(tabela$p3_nominalne, 4),
            round(tabela[6:9], 1)), row.names = FALSE)
cat("\nN dla planu stałego w przybliżeniu normalnym (rpact):",
    round(getSampleSizeMeans(plany[[1]], alternative = d, stDev = 1)$nFixed, 1), "\n")

# 3. Wydatkowanie alfa w planie LD typu OBF (skumulowane) i nominalne p w każdej analizie
obf <- plany[["LD typu OBF"]]
cat("\nLD typu OBF: skumulowane alfa =", formatC(obf$alphaSpent, format = "f", digits = 4),
    "\nnominalne p (jednostronnie) =", signif(1 - pnorm(obf$criticalValues), 3), "\n")

# 4. Liczebności etapów, które użyjemy w symulacjach (n na grupę, zaokrąglone w górę)
n_max <- ceiling(getSampleSizeMeans(obf, alternative = d, stDev = 1)$maxNumberOfSubjects / 2)
n_etapy <- ceiling(n_max * c(1, 2, 3) / 3)
cat("\nLD typu OBF: n na grupę w analizach =", n_etapy, "\n")
Wynik w R
Plan stały: n na grupę = 133  N łącznie = 266 

Granice z, nominalne p w analizie końcowej i liczebności (N łącznie, d = 0.4, moc 90%)
            plan    z1    z2    z3 p3_nominalne N_max wzrost_proc EN_H0 EN_H1
          Pocock 2.289 2.289 2.289       0.0110 304.5        15.1 301.4 190.8
 O'Brien-Fleming 3.471 2.454 2.004       0.0225 268.9         1.6 268.2 211.4
 LD typu Pococka 2.279 2.295 2.296       0.0108 305.4        15.4 302.3 190.8
     LD typu OBF 3.710 2.511 1.993       0.0231 267.8         1.2 267.2 214.7

N dla planu stałego w przybliżeniu normalnym (rpact): 264.6 

LD typu OBF: skumulowane alfa = 0.0001 0.0060 0.0250 
nominalne p (jednostronnie) = 0.000104 0.00601 0.0231 

LD typu OBF: n na grupę w analizach = 45 90 134 

2. Symulacja: błąd I rodzaju i moc z testem t

Dane wejściowe: dane symulowane (set.seed(335)): 20 000 badań na wariant, lęk egzaminacyjny o SD = 10, brak efektu albo d = 0.4.

Co odczytać: kolumnę blad_I_H0 (bez korekty 0.053, plany sekwencyjne 0.025), moc i średnie N; wiersze 5 i 6 – analizy przesunięte na 60 i 110 osób w grupie ze starymi i z przeliczonymi granicami.

R
# Symulacja: zwykłe testy t (jednostronne) w kolejnych analizach i reguła zatrzymania.
# Każdy wiersz macierzy to jedno badanie; analizy po n1 < n2 < n3 osobach w grupie.
suppressPackageStartupMessages(library(rpact))
set.seed(335)
R <- 20000; alfa <- 0.025

# p jednostronne testu t Studenta (H1: kontrola - interwencja > 0) po pierwszych n osobach w grupie
p_t <- function(k, ie, n) {
  mk <- rowMeans(k[, 1:n, drop = FALSE]); mi <- rowMeans(ie[, 1:n, drop = FALSE])
  vk <- apply(k[, 1:n, drop = FALSE], 1, var); vi <- apply(ie[, 1:n, drop = FALSE], 1, var)
  t <- (mk - mi) / sqrt((vk + vi) / n)
  pt(t, df = 2 * n - 2, lower.tail = FALSE)
}
# Badanie kończy się w pierwszej analizie z p < granicy; zwraca odsetek odrzuceń H0 i średnie N
symuluj <- function(n_etapy, p_granice, d) {
  nmax <- max(n_etapy)
  k  <- matrix(rnorm(R * nmax, 50 + 10 * d, 10), R)   # lęk w grupie kontrolnej
  ie <- matrix(rnorm(R * nmax, 50, 10), R)            # lęk po pisaniu ekspresywnym
  P <- sapply(n_etapy, function(n) p_t(k, ie, n))
  if (is.null(dim(P))) P <- matrix(P, ncol = 1)
  istotne <- sweep(P, 2, p_granice, "<")
  etap <- apply(istotne, 1, function(x) if (any(x)) which(x)[1] else NA)
  N <- 2 * ifelse(is.na(etap), nmax, n_etapy[pmin(etap, length(n_etapy), na.rm = TRUE)])
  c(odrzucenia = mean(!is.na(etap)), N_srednie = mean(N))
}
plan <- function(typ, inf = c(1, 2, 3) / 3)
  getDesignGroupSequential(kMax = 3, alpha = alfa, sided = 1, typeOfDesign = typ, informationRates = inf)
p_nom <- function(pl) 1 - pnorm(pl$criticalValues)

warianty <- list(
  "1. stały plan"        = list(n = 133,             p = alfa),
  "2. bez korekty"       = list(n = c(45, 90, 134),  p = rep(alfa, 3)),
  "3. Pocock"            = list(n = c(51, 102, 153), p = p_nom(plan("P"))),
  "4. LD typu OBF"       = list(n = c(45, 90, 134),  p = p_nom(plan("asOF"))),
  "5. przesun., stare"   = list(n = c(60, 110, 134), p = p_nom(plan("asOF"))),
  "6. przesun., nowe"    = list(n = c(60, 110, 134), p = p_nom(plan("asOF", c(60, 110, 134) / 134))))
wyniki <- t(sapply(warianty, function(w) c(symuluj(w$n, w$p, d = 0), symuluj(w$n, w$p, d = 0.4))))
colnames(wyniki) <- c("blad_I_H0", "N_H0", "moc_d0.4", "N_d0.4")
wyniki <- data.frame(n_w_grupie = sapply(warianty, function(w) paste(w$n, collapse = "/")), round(wyniki, 3))
cat("Symulacja:", R, "badań na wariant i scenariusz; test t jednostronny, alfa = .025\n")
print(wyniki)
cat("5 i 6: analizy po 60 i 110 osobach w grupie zamiast 45 i 90; 5 – granice z planu, 6 – przeliczone funkcją wydatkowania\n")
cat("\nBłąd Monte Carlo odsetka 0.025 przy R =", R, ":", round(sqrt(0.025 * 0.975 / R), 4), "\n")
cat("Granice nominalnego p po przesunięciu analiz:", signif(p_nom(plan("asOF", c(60, 110, 134) / 134)), 3), "\n")
Wynik w R
Symulacja: 20000 badań na wariant i scenariusz; test t jednostronny, alfa = .025
                   n_w_grupie blad_I_H0    N_H0 moc_d0.4  N_d0.4
1. stały plan             133     0.024 266.000    0.901 266.000
2. bez korekty      45/90/134     0.053 262.148    0.922 157.507
3. Pocock          51/102/153     0.025 302.966    0.903 192.505
4. LD typu OBF      45/90/134     0.025 267.393    0.900 215.825
5. przesun., stare 60/110/134     0.023 267.733    0.897 230.289
6. przesun., nowe  60/110/134     0.024 267.342    0.898 215.042
5 i 6: analizy po 60 i 110 osobach w grupie zamiast 45 i 90; 5 – granice z planu, 6 – przeliczone funkcją wydatkowania

Błąd Monte Carlo odsetka 0.025 przy R = 20000 : 0.0011 
Granice nominalnego p po przesunięciu analiz: 0.000809 0.0131 0.021 

3. Granica daremności i oczekiwana liczebność

Dane wejściowe: plan Lana–DeMetsa typu OBF z granicą daremności z < 0 w analizach 1 i 2; bez danych losowych.

Co odczytać: granicę końcową (1.993 albo 1.968 przy granicy wiążącej), maksymalne i oczekiwane N, prawdopodobieństwo przerwania z daremności (0.625 bez efektu) oraz oczekiwane N i moc planów przy d = 0, 0.2, 0.4 i 0.6.

R
# Granica daremności: przerwij w analizie pośredniej, gdy z < 0 (efekt w złym kierunku).
# Porównanie: bez granicy daremności, granica niewiążąca i wiążąca (LD typu OBF, alfa = .025, moc 90%).
suppressPackageStartupMessages(library(rpact))
alfa <- 0.025; moc <- 0.90; d <- 0.4
pl <- list(
  "bez daremności"      = getDesignGroupSequential(kMax = 3, alpha = alfa, beta = 1 - moc, sided = 1,
                                                   typeOfDesign = "asOF"),
  "daremność niewiążąca" = getDesignGroupSequential(kMax = 3, alpha = alfa, beta = 1 - moc, sided = 1,
                                                   typeOfDesign = "asOF", futilityBounds = c(0, 0),
                                                   bindingFutility = FALSE),
  "daremność wiążąca"   = getDesignGroupSequential(kMax = 3, alpha = alfa, beta = 1 - moc, sided = 1,
                                                   typeOfDesign = "asOF", futilityBounds = c(0, 0),
                                                   bindingFutility = TRUE))
zero_gdy_brak <- function(x) if (is.numeric(x)) x else 0
tab <- do.call(rbind, lapply(names(pl), function(nm) {
  ss <- getSampleSizeMeans(pl[[nm]], alternative = d, stDev = 1)
  h0 <- getPowerMeans(pl[[nm]], alternative = 0, stDev = 1, maxNumberOfSubjects = ss$maxNumberOfSubjects)
  data.frame(plan = nm, z3 = round(pl[[nm]]$criticalValues[3], 3),
             N_max = round(ss$maxNumberOfSubjects, 1),
             EN_H0 = round(ss$expectedNumberOfSubjectsH0, 1), EN_H1 = round(ss$expectedNumberOfSubjectsH1, 1),
             daremnosc_H0 = round(zero_gdy_brak(h0$futilityStop), 3), daremnosc_H1 = round(zero_gdy_brak(ss$futilityStop), 3))
}))
print(tab, row.names = FALSE)
n_max_f <- ceiling(tab$N_max[2] / 2)
cat("Daremność niewiążąca: n na grupę w analizach =", ceiling(n_max_f * c(1, 2, 3) / 3), "\n\n")

# Oczekiwana liczebność i moc przy różnych prawdziwych efektach (do rysunku 2)
d_siatka <- seq(0, 0.6, by = 0.05)
krzywe <- do.call(rbind, lapply(c("P", "asOF"), function(t) {
  p <- getDesignGroupSequential(kMax = 3, alpha = alfa, beta = 1 - moc, sided = 1, typeOfDesign = t)
  nmax <- getSampleSizeMeans(p, alternative = d, stDev = 1)$maxNumberOfSubjects
  w <- getPowerMeans(p, alternative = d_siatka, stDev = 1, maxNumberOfSubjects = nmax)
  data.frame(plan = unname(c(P = "Pocock", asOF = "LD typu OBF")[t]), d = d_siatka,
             EN = w$expectedNumberOfSubjects, moc = w$overallReject)
}))
nmax_f <- getSampleSizeMeans(pl[[2]], alternative = d, stDev = 1)$maxNumberOfSubjects
w_f <- getPowerMeans(pl[[2]], alternative = d_siatka, stDev = 1, maxNumberOfSubjects = nmax_f)
krzywe <- rbind(krzywe, data.frame(plan = "LD typu OBF + daremność", d = d_siatka,
                                   EN = w_f$expectedNumberOfSubjects, moc = w_f$overallReject))
n_staly <- getSampleSizeMeans(pl[[1]], alternative = d, stDev = 1)$nFixed
krzywe <- rbind(krzywe, data.frame(plan = "Plan stały", d = d_siatka, EN = n_staly,
                                   moc = sapply(d_siatka, function(x) if (x == 0) alfa else
                                     power.t.test(n = n_staly / 2, delta = x, sig.level = alfa,
                                                  alternative = "one.sided")$power)))
krzywe$EN <- round(krzywe$EN, 1); krzywe$moc <- round(krzywe$moc, 3)
print(krzywe[krzywe$d %in% c(0, 0.2, 0.4, 0.6), ], row.names = FALSE)
Wynik w R
                 plan    z3 N_max EN_H0 EN_H1 daremnosc_H0 daremnosc_H1
       bez daremności 1.993 267.8 267.2 214.7        0.000        0.000
 daremność niewiążąca 1.993 281.5 175.3 217.8        0.625        0.028
    daremność wiążąca 1.968 278.0 173.2 215.7        0.625        0.029
Daremność niewiążąca: n na grupę w analizach = 47 94 141 

                    plan   d    EN   moc
                  Pocock 0.0 301.4 0.025
                  Pocock 0.2 271.7 0.347
                  Pocock 0.4 190.7 0.900
                  Pocock 0.6 127.5 0.999
             LD typu OBF 0.0 267.2 0.025
             LD typu OBF 0.2 256.9 0.366
             LD typu OBF 0.4 214.7 0.900
             LD typu OBF 0.6 167.9 0.998
 LD typu OBF + daremność 0.0 175.3 0.024
 LD typu OBF + daremność 0.2 235.3 0.368
 LD typu OBF + daremność 0.4 217.8 0.900
 LD typu OBF + daremność 0.6 173.1 0.997
              Plan stały 0.0 264.6 0.025
              Plan stały 0.2 264.6 0.367
              Plan stały 0.4 264.6 0.900
              Plan stały 0.6 264.6 0.998

4. Obciążenie po wczesnym zatrzymaniu i oszacowanie skorygowane

Dane wejściowe: dane symulowane (set.seed(3354)): 20 000 badań przy d = 0.4 i 20 000 przy d = 0.2, analizy po 45, 90 i 134 osobach w grupie.

Co odczytać: odsetek badań zakończonych w każdej analizie i średnie d w chwili zatrzymania, a dla jednego badania zatrzymanego w analizie 2 – zwykłą różnicę średnich z 95% CI oraz oszacowanie mediano-nieobciążone 6.03 i skorygowany 95% CI [3.02, 8.94] z rpact.

R
# Obciążenie oszacowania po wczesnym zatrzymaniu: LD typu OBF, analizy po 45/90/134 osobach w grupie.
suppressPackageStartupMessages(library(rpact))
set.seed(3354)
R <- 20000; n_etapy <- c(45, 90, 134)
obf <- getDesignGroupSequential(kMax = 3, alpha = 0.025, sided = 1, typeOfDesign = "asOF")
z_gr <- obf$criticalValues

# d Cohena (wspólne SD) i statystyka t po pierwszych n osobach w grupie
d_i_t <- function(k, ie, n) {
  mk <- rowMeans(k[, 1:n]); mi <- rowMeans(ie[, 1:n])
  sp <- sqrt((apply(k[, 1:n], 1, var) + apply(ie[, 1:n], 1, var)) / 2)
  list(d = (mk - mi) / sp, t = (mk - mi) / (sp * sqrt(2 / n)))
}
badania <- function(d_prawd) {
  k  <- matrix(rnorm(R * 134, 50 + 10 * d_prawd, 10), R)
  ie <- matrix(rnorm(R * 134, 50, 10), R)
  wyn <- lapply(seq_along(n_etapy), function(j) {
    x <- d_i_t(k, ie, n_etapy[j])
    # granica na skali p: nominalne p testu t < nominalne p granicy z
    list(d = x$d, stop = pt(x$t, 2 * n_etapy[j] - 2, lower.tail = FALSE) < 1 - pnorm(z_gr[j]))
  })
  stopy <- sapply(wyn, `[[`, "stop"); stopy[, 3] <- TRUE        # w analizie 3 badanie i tak się kończy
  etap <- apply(stopy, 1, which.max)
  d_hat <- sapply(wyn, `[[`, "d")[cbind(1:R, etap)]
  list(etap = etap, d_hat = d_hat, istotne = sapply(wyn, `[[`, "stop")[cbind(1:R, etap)],
       d_staly = sapply(wyn, `[[`, "d")[, 3], k = k, ie = ie)
}
tabele <- list()
for (d_prawd in c(0.4, 0.2)) {
  b <- badania(d_prawd)
  tab <- data.frame(analiza = c("1 (n = 45)", "2 (n = 90)", "3 (n = 134)", "razem"),
                    odsetek_badan = c(tabulate(b$etap, 3) / R, 1),
                    srednie_d = c(tapply(b$d_hat, factor(b$etap, 1:3), mean), mean(b$d_hat)))
  cat("\nPrawdziwe d =", d_prawd, "\n"); print(cbind(tab[1], round(tab[-1], 3)), row.names = FALSE)
  cat("Średnie d w planie stałym (zawsze n = 134):", round(mean(b$d_staly), 3),
      "\nŚrednie d wśród badań z wynikiem istotnym:", round(mean(b$d_hat[b$istotne]), 3), "\n")
  tabele[[as.character(d_prawd)]] <- tab
  if (d_prawd == 0.4) wzor <- b
}

# Jedno badanie (pierwsze z symulacji przy d = 0.4 zatrzymane w analizie 2) w rpact:
# oszacowanie mediano-nieobciążone i przedział ufności skorygowany o plan sekwencyjny
i <- which(wzor$etap == 2)[1]
grupy <- list(k = wzor$k[i, ], ie = wzor$ie[i, ]); od <- c(1, 46); do_ <- c(45, 90)
etap_stat <- function(x, f) sapply(1:2, function(j) f(x[od[j]:do_[j]]))
dane <- getDataset(n1 = c(45, 45), n2 = c(45, 45),
                   means1 = etap_stat(grupy$k, mean), means2 = etap_stat(grupy$ie, mean),
                   stDevs1 = etap_stat(grupy$k, sd), stDevs2 = etap_stat(grupy$ie, sd))
wynik <- getAnalysisResults(obf, dataInput = dane, directionUpper = TRUE)
cat("\nBadanie nr", i, ": różnica średnich po 90 osobach w grupie (zwykła) =",
    round(mean(grupy$k[1:90]) - mean(grupy$ie[1:90]), 2), "pkt, d =", round(wzor$d_hat[i], 3), "\n")
print(t.test(grupy$k[1:90], grupy$ie[1:90], var.equal = TRUE)$conf.int)
cat("rpact: etap końcowy =", wynik$finalStage, "\nkońcowe p =", sub("^0", "", formatC(wynik$finalPValues[2], format = "f", digits = 6)),
    "\noszacowanie mediano-nieobciążone =", round(wynik$medianUnbiasedEstimates[2], 2),
    "\nskorygowany 95% CI (dwustronny) = [", round(wynik$finalConfidenceIntervalLowerBounds[2], 2), ",",
    round(wynik$finalConfidenceIntervalUpperBounds[2], 2), "]\n")
Wynik w R

Prawdziwe d = 0.4 
     analiza odsetek_badan srednie_d
  1 (n = 45)         0.030     0.912
  2 (n = 90)         0.525     0.502
 3 (n = 134)         0.445     0.310
       razem         1.000     0.429
Średnie d w planie stałym (zawsze n = 134): 0.4 
Średnie d wśród badań z wynikiem istotnym: 0.456 

Prawdziwe d = 0.2 
     analiza odsetek_badan srednie_d
  1 (n = 45)         0.003     0.882
  2 (n = 90)         0.121     0.452
 3 (n = 134)         0.876     0.177
       razem         1.000     0.212
Średnie d w planie stałym (zawsze n = 134): 0.201 
Średnie d wśród badań z wynikiem istotnym: 0.359 

Badanie nr 1 : różnica średnich po 90 osobach w grupie (zwykła) = 6.29 pkt, d = 0.64 
[1] 3.399088 9.178991
attr(,"conf.level")
[1] 0.95
rpact: etap końcowy = 2 
końcowe p = .000115 
oszacowanie mediano-nieobciążone = 6.03 
skorygowany 95% CI (dwustronny) = [ 3.02 , 8.94 ]

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (pakiety base i stats oraz rpact); rysunki przygotowano w pakiecie ggplot2. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. rpact (wersja 4.4.0): Wassmer, G., & Pahlke, F. (2026). rpact: Confirmatory adaptive clinical trial design and analysis [R package]. https://doi.org/10.32614/CRAN.package.rpact
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org

Najczęstsze błędy

  • Analizy pośrednie, których nie ma w planie. Każde nieujawnione spojrzenie zawyża błąd I rodzaju, także wtedy, gdy nie zakończyło badania.
  • Granice Pococka bez sprawdzenia maksymalnego N. W przykładzie wymagały 15.1% więcej osób niż plan stały. Bez efektu plan Pococka zbiera średnio więcej osób niż plan stały.
  • Zignorowana granica wiążąca. Jeśli kontynuujesz badanie mimo jej przekroczenia, użyj od początku granicy niewiążącej.
  • Zmiana funkcji wydatkowania po obejrzeniu danych. Przeliczać wolno granice dla nowych terminów, nie samą funkcję.
  • Raport samego zwykłego d z badania przerwanego wcześnie. Dodaj oszacowanie skorygowane i informację, w której analizie badanie zakończono.
  • Nieistotny wynik po przerwaniu z daremności jako dowód braku efektu. To decyzja o oszczędności zasobów, a nie test równoważności.

Najczęstsze pytania

Ile analiz pośrednich zaplanować w eksperymencie psychologicznym?

Nie ma jednej liczby. Każda analiza to dodatkowa szansa na wcześniejsze zakończenie, ale też większe maksymalne N przy granicach typu Pococka i więcej pracy z przygotowaniem danych. W przykładzie z trzema analizami plan Lana–DeMetsa typu OBF zwiększył maksymalne N tylko o 1.2%, a plan Pococka o 15.1%. Policz kilka wariantów w rpact i wybierz ten, którego maksimum możesz zebrać.

Czy analizę pośrednią można zrobić w innym momencie, niż zaplanowano?

Tak, jeśli plan opiera się na funkcji wydatkowania alfa Lana–DeMetsa. Granice przelicza się wtedy dla faktycznego odsetka zebranych danych. W symulacji z analizami po 60 i 110 zamiast po 45 i 90 osobach w grupie błąd I rodzaju po przeliczeniu wyniósł 2.4% przy α = .025. Nie wolno natomiast zmieniać samej funkcji po obejrzeniu danych.

Czy w badaniu sekwencyjnym można użyć zwykłego testu t?

Tak. W każdej analizie wykonujesz zwykły test t na wszystkich dotąd zebranych danych i porównujesz p z nominalnym progiem z planu, a nie z .05. W symulacji 20 000 badań bez efektu taka reguła dała 2.5% fałszywych alarmów przy α = .025. Funkcja getAnalysisResults() w rpact wykorzystuje rozkład t bezpośrednio.

Czy efekt z badania przerwanego w analizie pośredniej jest zawyżony?

Zwykle tak, bo badanie kończy się wcześnie częściej wtedy, gdy efekt losowo wypadł duży. W symulacji przy prawdziwym d = 0.4 badania zatrzymane w drugiej analizie dawały średnio d = 0.50, a w pierwszej 0.91. Podaj zwykłe oszacowanie, oszacowanie mediano-nieobciążone i przedział skorygowany o plan sekwencyjny.

Czym różni się wiążąca granica daremności od niewiążącej?

Granica wiążąca zakłada, że po jej przekroczeniu badanie na pewno zostanie przerwane, dzięki czemu próg końcowy może być łagodniejszy (w przykładzie 1.968 zamiast 1.993). Jeśli ją zignorujesz i będziesz kontynuować, błąd I rodzaju przekroczy α. Granica niewiążąca pozwala kontynuować bez utraty kontroli nad błędem, więc w badaniach akademickich jest bezpieczniejsza.

Powiązane hasła

Przeczytaj też

Planujesz analizy pośrednie w eksperymencie albo grancie?

Pomożemy dobrać granice zatrzymania, policzyć maksymalną i oczekiwaną liczebność oraz opisać plan i wynik tak, żebyś mógł(a) samodzielnie obronić je przed recenzentami.

Oferta dla badaczyPorozmawiaj o projekcie

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Armitage, P., McPherson, C. K., & Rowe, B. C. (1969). Repeated significance tests on accumulating data. Journal of the Royal Statistical Society. Series A (General), 132(2), 235–244. https://doi.org/10.2307/2343787
  2. Bassler, D., Briel, M., Montori, V. M., Lane, M., Glasziou, P., Zhou, Q., Heels-Ansdell, D., Walter, S. D., Guyatt, G. H., & STOPIT-2 Study Group. (2010). Stopping randomized trials early for benefit and estimation of treatment effects: Systematic review and meta-regression analysis. JAMA, 303(12), 1180–1187. https://doi.org/10.1001/jama.2010.310
  3. Kim, K., & DeMets, D. L. (1987). Design and analysis of group sequential tests based on the type I error spending rate function. Biometrika, 74(1), 149–154. https://doi.org/10.1093/biomet/74.1.149
  4. Lachin, J. M. (2005). A review of methods for futility stopping based on conditional power. Statistics in Medicine, 24(18), 2747–2764. https://doi.org/10.1002/sim.2151
  5. Lakens, D. (2014). Performing high-powered studies efficiently with sequential analyses. European Journal of Social Psychology, 44(7), 701–710. https://doi.org/10.1002/ejsp.2023 ● Otwarty dostęp
  6. Lakens, D., Pahlke, F., & Wassmer, G. (2021). Group sequential designs: A tutorial. PsyArXiv. https://doi.org/10.31234/osf.io/x4azm ● Otwarty dostęp
  7. Lan, K. K. G., & DeMets, D. L. (1983). Discrete sequential boundaries for clinical trials. Biometrika, 70(3), 659–663. https://doi.org/10.1093/biomet/70.3.659
  8. O'Brien, P. C., & Fleming, T. R. (1979). A multiple testing procedure for clinical trials. Biometrics, 35(3), 549–556. https://doi.org/10.2307/2530245
  9. Pocock, S. J. (1977). Group sequential methods in the design and analysis of clinical trials. Biometrika, 64(2), 191–199. https://doi.org/10.1093/biomet/64.2.191
  10. Whitehead, J. (1986). On the bias of maximum likelihood estimation following a sequential test. Biometrika, 73(3), 573–581. https://doi.org/10.1093/biomet/73.3.573

Cytowania BibTeX

@article{armitage1969repeated, author={Armitage, P. and McPherson, C. K. and Rowe, B. C.}, title={{Repeated significance tests on accumulating data}}, journal={Journal of the Royal Statistical Society. Series A (General)}, year={1969}, volume={132}, number={2}, pages={235--244}, doi={10.2307/2343787}}
@article{bassler2010stopping, author={Bassler, Dirk and Briel, Matthias and Montori, Victor M. and Lane, Melanie and Glasziou, Paul and Zhou, Qi and Heels-Ansdell, Diane and Walter, Stephen D. and Guyatt, Gordon H. and {STOPIT-2 Study Group}}, title={{Stopping randomized trials early for benefit and estimation of treatment effects: Systematic review and meta-regression analysis}}, journal={JAMA}, year={2010}, volume={303}, number={12}, pages={1180--1187}, doi={10.1001/jama.2010.310}}
@article{kim1987design, author={Kim, Kyungmann and DeMets, David L.}, title={{Design and analysis of group sequential tests based on the type I error spending rate function}}, journal={Biometrika}, year={1987}, volume={74}, number={1}, pages={149--154}, doi={10.1093/biomet/74.1.149}}
@article{lachin2005review, author={Lachin, John M.}, title={{A review of methods for futility stopping based on conditional power}}, journal={Statistics in Medicine}, year={2005}, volume={24}, number={18}, pages={2747--2764}, doi={10.1002/sim.2151}}
@article{lakens2014performing, author={Lakens, Daniël}, title={{Performing high-powered studies efficiently with sequential analyses}}, journal={European Journal of Social Psychology}, year={2014}, volume={44}, number={7}, pages={701--710}, doi={10.1002/ejsp.2023}}
@article{lakens2021group, author={Lakens, Daniël and Pahlke, Friedrich and Wassmer, Gernot}, title={{Group sequential designs: A tutorial}}, journal={PsyArXiv}, year={2021}, doi={10.31234/osf.io/x4azm}}
@article{lan1983discrete, author={Lan, K. K. Gordon and DeMets, David L.}, title={{Discrete sequential boundaries for clinical trials}}, journal={Biometrika}, year={1983}, volume={70}, number={3}, pages={659--663}, doi={10.1093/biomet/70.3.659}}
@article{obrien1979multiple, author={O'Brien, Peter C. and Fleming, Thomas R.}, title={{A multiple testing procedure for clinical trials}}, journal={Biometrics}, year={1979}, volume={35}, number={3}, pages={549--556}, doi={10.2307/2530245}}
@article{pocock1977group, author={Pocock, Stuart J.}, title={{Group sequential methods in the design and analysis of clinical trials}}, journal={Biometrika}, year={1977}, volume={64}, number={2}, pages={191--199}, doi={10.1093/biomet/64.2.191}}
@article{whitehead1986bias, author={Whitehead, John}, title={{On the bias of maximum likelihood estimation following a sequential test}}, journal={Biometrika}, year={1986}, volume={73}, number={3}, pages={573--581}, doi={10.1093/biomet/73.3.573}}
R