Prace dyplomowe · Metoda

Powtarzane pomiary – jak opisać metodę i kontrbalansowanie w pracy

Te same osoby w kilku warunkach albo kilku terminach: jak ułożyć kolejność (pełne kontrbalansowanie, kwadrat łaciński, kwadrat zrównoważony), jak opisać odstępy, wprawę, zmęczenie, przeniesienie i ubytek, jak łączyć pomiary po kodzie – z gotowym podrozdziałem Metoda i symulacją w R.

Strona główna / Blog / Powtarzane pomiary – opis metody
W skrócie: W opisie badania z powtarzanymi pomiarami najważniejsza jest odpowiedź na pytanie, czy powtarzasz warunki, czy czas. Warunki wymagają zaplanowanej kolejności: przy czterech warunkach kwadrat zrównoważony daje 4 sekwencje z równowagą pozycji i poprzednika, a osoby przydziela się do nich losowo w blokach. Bez kontrbalansowania wprawa wchodzi w wynik: w symulacji warunek bez żadnego efektu wyglądał na lepszy o 9 s, istotnie w 100% badań. Czasu nie da się kontrbalansować, więc tu kluczowe są odstępy, kody łączące pomiary i ubytek – w przykładzie z 120 osób wszystkie pomiary wypełnione przez 73, częściej rezygnowały osoby najbardziej zestresowane.

Te same osoby kilka razy: co trzeba opisać

W schemacie z powtarzanymi pomiarami każda osoba dostarcza kilku wyników: w kilku warunkach albo w kilku momentach (definicja: schemat międzyobiektowy i wewnątrzobiektowy). Analiza takich danych jest opisana we wpisie ANOVA z powtarzanymi pomiarami krok po kroku, a schemat AB/BA z losowaniem sekwencji – we wpisie schemat naprzemienny (crossover). Tu zajmujemy się tym, co dzieje się wcześniej: ułożeniem kolejności, odstępami, ubytkiem i tym, jak to wszystko zapisać w rozdziale metodologicznym.

Przykład przewodni (wymyślony, dane symulowane). Studentka bada, czy układ karty zleceń wpływa na szybkość jej sprawdzania. Mamy cztery wersje: A – obecna, B – tabela, C – kolor, D – tabela i kolor. 48 studentów pielęgniarstwa sprawdza w każdej wersji po jednym zestawie zleceń, a wynikiem jest czas w sekundach. W drugim, krótszym przykładzie te same osoby trzy razy wypełniają skalę stresu (przed sesją, w sesji, miesiąc po).

Oba przykłady są „powtarzanymi pomiarami”, ale opisuje się je inaczej, i od tego rozróżnienia zaczyna się dobra metoda.

Porównanie powtarzania warunków i powtarzania pomiarów w czasie
Czynnik: warunekCzynnik: czas
PrzykładCztery wersje karty zleceńStres przed sesją, w sesji, po sesji
Czy kolejność da się zmieniać?Tak – trzeba ją zaplanowaćNie – czas płynie w jedną stronę
Główne zagrożenieWprawa, zmęczenie, przeniesienieUbytek, zdarzenia między pomiarami, oswojenie z pomiarem
Co opisaćKolejności, sposób przydziału, przerwyTerminy, odstępy, liczbę osób w każdym pomiarze
Do jakich zdań uprawniaPorównanie warunków (przy kontrbalansowaniu)Opis zmiany w czasie, bez wskazywania jej przyczyny

Gdy zmiana w czasie ma być efektem interwencji, potrzebujesz opisu z wpisu badanie przed i po. Gdy warunki przydziela się różnym osobom, punktem wyjścia jest eksperyment z losowym przydziałem.

Kiedy badać te same osoby

Główną zaletą schematów wewnątrzobiektowych jest efektywność: różnice między ludźmi znikają z członu błędu. Główną wadą są efekty kontekstu – ćwiczenia, uwrażliwienia i przeniesienia (Greenwald, 1976). Zysk jest konkretny. Dla efektu d = 0.40 i korelacji między pomiarami r = .60 mamy dz = 0.45 i przy mocy 80% wystarczą 42 osoby. Dwie osobne grupy wymagałyby razem 200 osób. Przy podawaniu efektu zaznacz, której miary używasz – przeliczenia zależą od schematu (Lakens, 2013).

Te same osoby to dobry wybór, gdy warunki są krótkie, odwracalne i niezapamiętywane, a stan badanego jest stabilny. Zły wybór, gdy pierwszy warunek zmienia osobę na stałe: uczy strategii, ujawnia cel badania albo daje trwałą poprawę. Wtedy wybierz porównanie grup.

Kontrbalansowanie: pełne, kwadrat łaciński, kwadrat zrównoważony

Kontrbalansowanie rozkłada kolejność po równo na warunki. Hasło w słowniku pokazuje zasadę przy trzech warunkach. Przy planowaniu pracy liczą się trzy decyzje:

Sposoby układania kolejności warunków i ich właściwości przy czterech warunkach
SposóbLiczba kolejności (4 warunki)Co równoważyKiedy wybrać
Pełne kontrbalansowanie24 (dla 3, 4, 5, 6 warunków: 6, 24, 120, 720)Pozycję i kolejność całkowicie2–3 warunki albo 4 przy dużej próbie (N podzielne przez 24)
Prosty kwadrat łaciński4Tylko pozycjęGdy przeniesienia praktycznie nie ma
Kwadrat zrównoważony (Williamsa)4 (przy nieparzystej liczbie warunków: 2k)Pozycję i bezpośredniego poprzednikaDomyślnie przy 4 i więcej warunkach
Losowa kolejność dla każdej osobyRóżnieTylko średnioWiele krótkich prób i komputer, który losuje

Rysunek 1 pokazuje różnicę. W prostym kwadracie łacińskim każdy warunek stoi raz na każdej pozycji, ale D zawsze następuje po C. W kwadracie zrównoważonym każdy warunek ma każdego poprzednika dokładnie raz. Taki układ dla parzystej liczby warunków opisał Williams (1949), a dla wielu powtórzeń tego samego warunku lub przeniesień wyższych rzędów metodę ich tworzenia podał Brooks (2012).

Dwa układy czterech kolejności i czterech sesji. Prosty kwadrat łaciński: ABCD, BCDA, CDAB, DABC, gdzie po C zawsze jest D. Kwadrat zrównoważony: ABDC, BCAD, CDBA, DACB, gdzie każdy warunek ma każdego poprzednika raz
Rysunek 1. Prosty kwadrat łaciński i kwadrat zrównoważony dla czterech warunków. Oba równoważą pozycję, tylko drugi równoważy bezpośredniego poprzednika.

Sama lista kolejności nie wystarczy. Osoby trzeba do nich losowo przydzielić, najlepiej blokami: w każdym bloku czterech kolejnych osób występują wszystkie cztery sekwencje (randomizacja blokowa). Listę przygotuj przed badaniem, np. w generatorze listy randomizacji. Liczba osób powinna być wielokrotnością liczby kolejności. W przykładzie 48 osób daje po 12 na sekwencję, a listę można pobrać: powtarzane-pomiary-lista-kolejnosci.csv.

Co się dzieje bez kontrbalansowania

Założenia symulacji: B nie różni się od A, C skraca czas o 3 s, D o 8 s. Niezależnie od wersji karty sesje 2, 3 i 4 są szybsze o 9, 14 i 17 s (wprawa). Najprościej byłoby dać wszystkim wersje po kolei: A, B, C, D, tak że nowa karta zawsze jest ostatnia. Tabela porównuje dwa osobne losowania tego samego scenariusza.

Wyniki jednego badania przy stałej kolejności i przy kwadracie zrównoważonym
Porównanie (prawdziwa różnica)Stała kolejność A–B–C–DKwadrat zrównoważony
B – A (0 s)−11.2 s, t(47) = −7.76, p < .0010.6 s, t(47) = 0.34, p = .739
D – A (−8 s)−25.8 s, t(47) = −17.91, p < .001−6.0 s, t(47) = −3.06, p = .004

Przy stałej kolejności karta B wygląda na wyraźnie lepszą, choć nie jest. Zdanie w dyskusji „nowy układ skraca czas o 11 s” opisywałoby wprawę. Efektu nie widać w żadnym teście ani w wykresie reszt: jest wbudowany w schemat. Żadna analiza nie oddzieli warunku od sesji, gdy każdy warunek pojawia się tylko w jednej sesji.

W 2000 powtórzeń (rysunek 2) stała kolejność zawyżała różnicę B – A średnio o 9.0 s, a test dawał istotny wynik w 100% badań. Wszystkie trzy schematy kontrbalansowane były nieobciążone. Różnice pojawiają się po dodaniu przeniesienia: po warunku C następna sesja jest szybsza o 6 s (kolor „uczy” patrzenia). Wtedy prosty kwadrat, w którym po C zawsze jest D, zawyża różnicę D – A o 4.5 s. Kwadrat zrównoważony i pełne kontrbalansowanie mają D – A bez obciążenia, ale nie są bezbłędne: różnica C – A jest o 1.5 s za mała, bo warunek C nigdy nie następuje po sobie samym, a pozostałe warunki po nim tak.

Obciążenie różnic między warunkami w czterech schematach. Sama wprawa: stała kolejność minus 9, minus 14 i minus 17 sekund, pozostałe schematy około zera. Wprawa z przeniesieniem po warunku C: stała kolejność minus 9, minus 14.1 i minus 23, prosty kwadrat łaciński minus 4.5 dla D minus A, kwadrat zrównoważony i pełne kontrbalansowanie plus 1.5 dla C minus A
Rysunek 2. Średnie obciążenie oszacowań w 2000 symulowanych badaniach (N = 48). Linia przerywana to brak obciążenia, etykiety pominięto, gdy obciążenie jest bliskie zeru. Obliczenia: R (dane symulowane).

Wniosek praktyczny: kontrbalansowanie nie usuwa przeniesienia, tylko je rozkłada. Jeśli warunki mogą zostawiać ślad, dodaj przerwę albo przeczytaj o przeniesieniu w schemacie naprzemiennym. Hasło o efekcie przeniesienia tłumaczy jego rodzaje.

Kolejność trzeba też uwzględnić w analizie. Pomijanie kontrbalansowania obniża moc (Pollatsek i Well, 1995). W jednym badaniu z kwadratem zrównoważonym model mieszany bez sesji miał SD reszt 10.82 i SE kontrastu 2.21. Z sesją było to 7.28 i 1.49, przy tych samych różnicach. Różnica D – A wyniosła −6.01 s, 95% CI [−9.61, −2.41] (przedział skorygowany metodą Bonferroniego dla trzech kontrastów), a test warunku F(3, 138) = 8.15, p < .001. Pomijanie sesji jest zachowawcze: w symulacji test t dla B – A dawał wynik istotny w mniej niż 1% badań zamiast 5%.

Odstępy, wprawa, zmęczenie, przeniesienie

Efekty związane z powtarzaniem pomiarów, sposoby ich ograniczania i opisu w pracy
EfektSkąd się bierzeCo zaplanowaćCo napisać
Ćwiczenie (wprawa)Znajomość zadania i bodźcówPróba treningowa, wersje równoległe, kontrbalansowanieLiczbę prób treningowych; czy wersje zadania były równoważne
Zmęczenie, znudzenieDługość sesjiLimit czasu, przerwy, krótsze zadaniaCzas sesji i przerw
PrzeniesienieŚlad po poprzednim warunkuOdstęp uzasadniony mechanizmem, kwadrat zrównoważonyDługość odstępu i jego uzasadnienie
Oswojenie z pomiaremSam pomiar zmienia odpowiedźOdpowiedni odstęp, zadania bez zapamiętywaniaCzy użyto tej samej wersji narzędzia

Wprawa nie jest drobiazgiem. W metaanalizie testów zdolności poznawczych wyniki po powtórzeniu rosły średnio o .26 odchylenia standardowego, a przy identycznej wersji testu bardziej (Hausknecht i in., 2007). W testach neuropsychologicznych wielkość tego efektu zależała m.in. od użycia wersji alternatywnych, wieku, diagnozy i długości odstępu (Calamia i in., 2012).

Nie ma uniwersalnego „dobrego odstępu”. Musi być dość długi, by minął ślad poprzedniego warunku, i dość krótki, by badana cecha się nie zmieniła. Podaj oba argumenty jednym zdaniem. Do oceny stabilności narzędzia przy danym odstępie służy rzetelność test–retest, a odstęp dłuższy niż kilka tygodni kieruje już ku schematowi podłużnemu.

Ubytek i łączenie pomiarów po kodzie

W anonimowej ankiecie powtarzanej pomiary łączysz kodem identyfikacyjnym, a technikę łączenia plików opisuje wpis łączenie danych z kilku plików. W metodzie potrzebujesz trzech liczb z każdego etapu: zebrano, połączono, nie dopasowano. W przykładzie o stresie pliki miały 121, 100 i 73 wiersze. Jeden kod w T0 się powtarzał, trzy kody z T1 nie miały pary (literówki, poprawione po metryczce i odnotowane w dzienniku). Ostatecznie T0 wypełniło 120 osób, T0 i T1 – 100 (83.3%), a wszystkie trzy pomiary – 73 (60.8%).

Ubytek jest częścią wyniku, więc opisz, kto odpadł. W przykładzie osoby, które nie wypełniły T2, różniły się niewiele w T0 (21.5 wobec 20.1, standaryzowana różnica −0.26), ale wyraźnie w T1 (31.0 wobec 25.6, standaryzowana różnica −1.11). Odpadały osoby najbardziej zestresowane. Średnia z T2 wśród osób, które ją wypełniły, wyniosła 17.9 przy prawdziwej 18.8 w całej próbie, co sugeruje spadek większy od rzeczywistego. Model mieszany, który korzysta ze wszystkich dostępnych pomiarów, dał 18.7.

To dlatego plan analizy powinien określać postępowanie z brakami danych. Klasyczna analiza powtarzanych pomiarów często usuwa całą osobę z brakiem w jednym pomiarze, jak MANOVA w ilustracji Twiska i de Vente (2002). Metody największej wiarygodności i imputacja wielokrotna wykorzystują częściowe dane (Graham, 2009). Symulację odpadania i porównanie analiz znajdziesz we wpisie ANOVA czy model mieszany.

Podrozdział „Metoda” – wzór z komentarzem

Jak bywa napisane:

„Badanie miało charakter eksperymentalny. Wzięło w nim udział 48 studentów. Każdy sprawdzał cztery karty zleceń w losowej kolejności. Czas mierzono stoperem. Dane poddano analizie ANOVA.”

Co jest nie tak: nie wiadomo, czy był to układ wewnątrzobiektowy; „losowa kolejność” może znaczyć kwadrat, permutacje dla każdej osoby albo decyzję badacza; brakuje przerw, próby treningowej, informacji o zestawach zadań, ubytku i o tym, czy sesja była w modelu. Poprawiona wersja:

Schemat. Zastosowano schemat wewnątrzobiektowy z jednym czynnikiem (układ karty zleceń: A, B, C, D). Kolejność warunków kontrbalansowano zrównoważonym kwadratem łacińskim (kolejności ABDC, BCAD, CDBA, DACB), w którym każdy warunek występował raz na każdej pozycji i raz po każdym innym warunku. Przydział do kolejności był losowy, w blokach po 4 osoby, według listy przygotowanej przed badaniem [program, ziarno].

Uczestnicy. Do badania zaproszono [liczba] studentów [kierunek, rok]; zgłosiło się [n], a badanie ukończyło 48 (po 12 w każdej kolejności). Zakładając d = 0.40 i r = .60 między warunkami (dz = 0.45), dla mocy 80% i α = .05 potrzeba 42 osób przy porównaniu dwóch warunków; zaplanowano 48, by zachować równą liczbę osób w kolejnościach.

Narzędzia. Przygotowano cztery zestawy po [liczba] zleceń o równej trudności, ustalonej w pilotażu [n osób]. Zestawy przypisano do układów [w sposób stały / losowo]. Wynikiem był czas sprawdzenia zestawu w sekundach, mierzony [narzędzie].

Procedura. Badanie odbyło się indywidualnie w jednym spotkaniu. Przed częścią właściwą uczestnik wykonał próbę treningową na odrębnym zestawie. Między zestawami była przerwa [liczba] min, wystarczająca [uzasadnienie]. Spotkanie trwało około [liczba] min.

Plan analizy. Czas analizowano liniowym modelem mieszanym z efektami stałymi układu karty i pozycji w sesji oraz losowym wyrazem wolnym osoby (R, pakiety lme4 i lmerTest; stopnie swobody Satterthwaite’a). Układy B, C i D porównano z A z korektą Holma. Osoby z częściowymi danymi pozostawały w modelu. Reguły wykluczeń ustalono przed zebraniem danych: [reguły].

Komentarz. Nazwa schematu i sposób losowania to dwa zdania, które odpowiadają na najczęstsze pytanie recenzenta. „Ziarno” w nawiasie umożliwia odtworzenie listy. Zgłoś również, czy kolejność została zachowana w praktyce (np. kto przyszedł po terminie). Jeśli reguły wykluczeń ustalasz w eksperymencie, zobacz wpis o wykluczaniu respondentów. Pełny wynik modelu opisuje poradnik jak opisać wyniki modelu mieszanego.

W badaniu czasowym zmień kilka zdań:

Pomiaru dokonano trzykrotnie: tydzień przed sesją (T0), w jej trakcie (T1) i miesiąc po jej zakończeniu (T2). Ankiety z kolejnych pomiarów połączono za pomocą pięcioznakowego kodu nadanego przez respondenta według instrukcji; [3] kody bez pary poprawiono na podstawie zgodności metryczki, a [1] duplikat usunięto (dziennik zmian w załączniku). Pomiar T0 wypełniło 120 osób, T1 – 100 (83.3%), T2 – 73 (60.8%). Osoby, które nie wypełniły T2, miały w T1 wyższy stres niż pozostałe (31.0 wobec 25.6). Ze względu na ten kierunek ubytku zastosowano model mieszany korzystający ze wszystkich pomiarów, przy założeniu braków losowych (MAR).

Co wolno napisać we wnioskach

Sformułowania dopuszczalne i niedopuszczalne we wnioskach z badań z powtarzanymi pomiarami
SytuacjaMożesz napisaćNie pisz
Warunki kontrbalansowane„Sprawdzanie w układzie D trwało krócej niż w układzie A o 6.0 s, 95% CI [2.4, 9.6]”„Układ D skróci czas pracy pielęgniarek na oddziale” – to badanie na studentach, w jednym zadaniu
Stała kolejność„Czas malał w kolejnych zadaniach; schemat nie pozwala oddzielić układu od wprawy”„Układ D był najlepszy”
Pomiar w czasie bez grupy porównawczej„Stres był wyższy w sesji niż przed nią”„Sesja spowodowała wzrost stresu o…”, bez zastrzeżenia
Duży ubytek„Wśród osób, które pozostały w badaniu…; odpadały głównie osoby z wyższym stresem”„Po miesiącu stres wrócił do poziomu wyjściowego u studentów”

Schemat wewnątrzobiektowy sam nie czyni badania eksperymentem. Porównanie warunków można nazwać przyczynowym tylko wtedy, gdy kolejność została kontrbalansowana i losowo przydzielona, a warunki kontrolował badacz. W przeciwnym razie napisz o tym w podrozdziale o ograniczeniach pracy.

Na co zwrócić uwagę w poszczególnych dziedzinach

Poniższe uwagi to obserwacje ogólne, a wymagania uczelni i promotora mają pierwszeństwo.

Uwagi o powtarzanych pomiarach w czterech dziedzinach
DziedzinaTypowa sytuacjaNa co zwrócić uwagę
PsychologiaZadania poznawcze w kilku warunkachWersje równoległe bodźców, rozdzielenie bodźców od warunków, próba treningowa
Nauki o zdrowiuParametry lub objawy w kilku terminachPora dnia, zmienność stanu pacjenta, stałość osoby mierzącej, data każdego pomiaru
FizjoterapiaKilka testów funkcjonalnych w jednym spotkaniuKolejność testów, przerwy, rozgrzewka, zmęczenie mięśni, rzetelność pomiaru
ZarządzanieAnkieta u tych samych pracowników w dwóch falachRotacja kadr, moment w cyklu pracy, wiarygodność kodu, obawy o anonimowość

Najczęstsze błędy

  • „Losowa kolejność” bez metody. Czytelnik musi wiedzieć, czy to kwadrat, permutacje czy losowanie dla każdej osoby.
  • Nowy warunek zawsze na końcu. Różnica zawiera wtedy całą wprawę; w przykładzie 9 s przy prawdziwym zerze.
  • Kontrbalansowanie bez uwzględnienia w analizie. Wynik jest nieobciążony, ale traci moc.
  • N niepodzielne przez liczbę kolejności. Przy 50 osobach i 4 sekwencjach równowaga się rozpada; zaplanuj 48 lub 52.
  • Traktowanie kwadratu jako ochrony przed przeniesieniem. Prosty kwadrat zawyżył różnicę D – A o 4.5 s.
  • Opis „n = 120” przy trzech pomiarach. Podaj liczebność w każdym pomiarze i liczbę osób z kompletem danych.
  • Łączenie po kodzie bez kontroli. Sprawdź duplikaty i kody bez pary, zanim je złączysz.
  • Odstęp bez uzasadnienia. „Odstęp wynosił 2 tygodnie” nie mówi, dlaczego akurat tyle.
  • Wielkość efektu bez wskazania miary. dz i d między osobami dają przy tych samych danych różne liczby; napisz, której używasz.
Przykład reprodukowalny

Kolejności, symulacja i łączenie pomiarów w R

Trzy przepisy liczą wszystkie liczby z tekstu. Pierwszy tworzy kolejności i listę przydziału, drugi symuluje badanie i powtarza je 2000 razy, trzeci łączy trzy pomiary po kodzie. Rysunki powstały w osobnym skrypcie na tych samych wynikach. Pliki CSV zapisują się w folderze nadrzędnym (../). Dane możesz pobrać: powtarzane-pomiary-karta-zlecen.csv (192 wiersze w formacie długim: osoba, sekwencja, sesja, warunek, czas w sekundach).

Kolejności, sprawdzenie równowagi i lista przydziału

Dane wejściowe: cztery warunki A–D, 48 osób; set.seed(4691); pakiet pwr.

Co odczytać: 24 kolejności pełne, dwa kwadraty i tabele poprzedników, liczbę osób w sekwencjach oraz liczebność dla pary warunków.

R
# B469 – kolejności warunków: pełne kontrbalansowanie, kwadrat łaciński i kwadrat zrównoważony
# Cztery układy karty zleceń: A – obecny, B – tabela, C – kolor, D – tabela i kolor
warunki <- c("A", "B", "C", "D")
k <- length(warunki)

# Pełne kontrbalansowanie: wszystkie permutacje
permutacje <- function(x) {
  if (length(x) == 1) return(matrix(x, 1))
  do.call(rbind, lapply(seq_along(x), function(i) cbind(x[i], permutacje(x[-i]))))
}
pelne <- permutacje(warunki)
cat("Pełne kontrbalansowanie:", nrow(pelne), "kolejności\n")
cat("Liczba kolejności dla k = 3, 4, 5, 6:", factorial(3:6), "\n\n")

# Prosty kwadrat łaciński: każdy wiersz to poprzedni przesunięty o jedno miejsce
lacinski <- t(sapply(0:(k - 1), function(s) warunki[(0:(k - 1) + s) %% k + 1]))

# Kwadrat zrównoważony (Williams) dla parzystej liczby warunków:
# pierwszy wiersz 0, 1, k-1, 2, k-2, ..., kolejne wiersze to dodawanie 1 modulo k
pierwszy <- numeric(k)
pierwszy[seq(2, k, by = 2)] <- seq_len(k / 2)
pierwszy[seq(3, k, by = 2)] <- k - seq_len(k / 2 - 1)
zrownowazony <- t(sapply(0:(k - 1), function(s) warunki[(pierwszy + s) %% k + 1]))

# Kontrola: ile razy każdy warunek stoi na każdej pozycji i ile razy poprzedza każdy inny
poprzedniki <- function(m) {
  pary <- do.call(rbind, lapply(1:(ncol(m) - 1), function(j) m[, c(j, j + 1)]))
  table(poprzedni = factor(pary[, 1], warunki), nastepny = factor(pary[, 2], warunki))
}
pokaz <- function(nazwa, m) {
  cat(nazwa, ":\n", sep = "")
  cat(paste(" ", apply(m, 1, paste, collapse = " ")), sep = "\n")
  cat("Warunek na każdej pozycji (min–max):",
      paste(range(apply(m, 2, function(p) table(factor(p, warunki)))), collapse = "–"), "\n")
  print(poprzedniki(m)); cat("\n")
}
pokaz("Prosty kwadrat łaciński", lacinski)
pokaz("Kwadrat zrównoważony", zrownowazony)

# Lista przydziału: 48 osób, losowe permutacje kolejności w blokach po 4 osoby
set.seed(4691)
N <- 48
kolejnosc <- as.vector(replicate(N / k, sample(1:k)))
lista <- data.frame(numer = 1:N, kolejnosc = kolejnosc,
                    sekwencja = apply(zrownowazony[kolejnosc, ], 1, paste, collapse = ""))
print(table(lista$sekwencja))
print(head(lista, 8), row.names = FALSE)
write.csv(lista, "../powtarzane-pomiary-lista-kolejnosci.csv", row.names = FALSE, fileEncoding = "UTF-8")

# Liczebność dla porównania dwóch warunków (pakiet pwr)
library(pwr)
d <- 0.4; r <- 0.6
dz <- d / sqrt(2 * (1 - r))
n_zal <- ceiling(pwr.t.test(d = dz, power = .80, sig.level = .05, type = "paired")$n)
n_nz <- ceiling(pwr.t.test(d = d, power = .80, sig.level = .05, type = "two.sample")$n)
cat(sprintf("\nd = %.2f, r = %s, dz = %.2f: te same osoby n = %d; osobne grupy 2 x %d = %d\n",
            d, sub("^0", "", sprintf("%.2f", r)), dz, n_zal, n_nz, 2 * n_nz))
Wynik w R
Pełne kontrbalansowanie: 24 kolejności
Liczba kolejności dla k = 3, 4, 5, 6: 6 24 120 720 

Prosty kwadrat łaciński:
  A B C D
  B C D A
  C D A B
  D A B C
Warunek na każdej pozycji (min–max): 1–1 
         nastepny
poprzedni A B C D
        A 0 3 0 0
        B 0 0 3 0
        C 0 0 0 3
        D 3 0 0 0

Kwadrat zrównoważony:
  A B D C
  B C A D
  C D B A
  D A C B
Warunek na każdej pozycji (min–max): 1–1 
         nastepny
poprzedni A B C D
        A 0 1 1 1
        B 1 0 1 1
        C 1 1 0 1
        D 1 1 1 0


ABDC BCAD CDBA DACB 
  12   12   12   12 
 numer kolejnosc sekwencja
     1         3      CDBA
     2         2      BCAD
     3         4      DACB
     4         1      ABDC
     5         2      BCAD
     6         3      CDBA
     7         1      ABDC
     8         4      DACB

d = 0.40, r = .60, dz = 0.45: te same osoby n = 42; osobne grupy 2 x 100 = 200

Efekt kolejności: jedno badanie i 2000 powtórzeń

Dane wejściowe: symulowane czasy 48 osób w czterech warunkach; prawdziwe różnice względem A: 0, −3, −8 s; wprawa w sesjach: 0, −9, −14, −17 s; ziarna 4692–4693; pakiety lme4, lmerTest, emmeans.

Co odczytać: wyniki przy stałej kolejności i przy kwadracie zrównoważonym, kontrasty z modelu z sesją i bez niej, tabelę średnich oszacowań z 2000 badań.

R
# B469 – efekt kolejności bez kontrbalansowania: jedno badanie i 2000 powtórzeń
# Wynik: czas sprawdzenia zleceń w sekundach. Dane symulowane.
library(lmerTest)
library(emmeans)

warunki <- c("A", "B", "C", "D")
efekt <- c(A = 0, B = 0, C = -3, D = -8)   # prawdziwe różnice względem A
wprawa <- c(0, -9, -14, -17)               # zmiana czasu w sesjach 1–4
N <- 48

zrownowazony <- rbind(c(1, 2, 4, 3), c(2, 3, 1, 4), c(3, 4, 2, 1), c(4, 1, 3, 2))
lacinski <- rbind(c(1, 2, 3, 4), c(2, 3, 4, 1), c(3, 4, 1, 2), c(4, 1, 2, 3))
stala <- matrix(1:4, 1)
pelne <- as.matrix(expand.grid(1:4, 1:4, 1:4, 1:4))
pelne <- unname(pelne[apply(pelne, 1, function(w) length(unique(w)) == 4), ])

# Czasy w macierzy osoby x sesje; przeniesienie = dodatkowa zmiana w sesji tuż po warunku C
symuluj <- function(schemat, przeniesienie = 0) {
  sek <- schemat[rep_len(seq_len(nrow(schemat)), N), , drop = FALSE]
  u <- rnorm(N, 0, 12)
  y <- 95 + u + matrix(efekt[sek], N, 4) + matrix(wprawa, N, 4, byrow = TRUE) +
    matrix(rnorm(N * 4, 0, 7), N, 4)
  y[, 2:4] <- y[, 2:4] + przeniesienie * (sek[, 1:3] == 3)
  list(y = y, sek = sek)
}
wg_warunku <- function(s) {
  w <- matrix(NA_real_, N, 4)
  w[cbind(rep(1:N, 4), as.vector(s$sek))] <- as.vector(s$y)
  w
}

# Jedno badanie: te same osoby i błędy, dwa sposoby ułożenia kolejności
set.seed(4692)
badanie <- symuluj(zrownowazony)
y_war <- wg_warunku(badanie)
dl <- data.frame(id = factor(rep(1:N, 4)),
                 sekwencja = rep(apply(badanie$sek, 1, function(w) paste(warunki[w], collapse = "")), 4),
                 sesja = factor(rep(1:4, each = N)),
                 warunek = factor(warunki[as.vector(badanie$sek)], warunki),
                 czas_s = round(as.vector(badanie$y), 1))
dl <- dl[order(as.integer(dl$id), dl$sesja), ]
write.csv(dl, "../powtarzane-pomiary-karta-zlecen.csv", row.names = FALSE, fileEncoding = "UTF-8")
cat("Średnie czasy w warunkach:\n"); print(round(tapply(dl$czas_s, dl$warunek, mean), 1))
cat("Średnie czasy w sesjach:\n"); print(round(tapply(dl$czas_s, dl$sesja, mean), 1))

set.seed(46921)
st <- symuluj(stala)
yst <- wg_warunku(st)
opis_t <- function(m, a, b, etyk) {
  t0 <- t.test(m[, b], m[, a], paired = TRUE)
  cat(sprintf("%s: różnica %.1f s, t(%d) = %.2f, %s, 95%% CI [%.1f, %.1f]\n", etyk, t0$estimate, t0$parameter,
              t0$statistic, ifelse(t0$p.value < .001, "p < .001", sprintf("p = %s", sub("^0", "", sprintf("%.3f", t0$p.value)))),
              t0$conf.int[1], t0$conf.int[2]))
}
cat("\nStała kolejność A–B–C–D (osobne losowanie, prawdziwe różnice: B–A 0, D–A -8):\n")
opis_t(yst, 1, 2, "B – A"); opis_t(yst, 1, 4, "D – A")
cat("\nKwadrat zrównoważony, test t dla par (bez sesji w modelu):\n")
opis_t(y_war, 1, 2, "B – A"); opis_t(y_war, 1, 4, "D – A")

# Model mieszany: z sesją i bez sesji
m_sesja <- lmer(czas_s ~ warunek + sesja + (1 | id), data = dl)
m_bez <- lmer(czas_s ~ warunek + (1 | id), data = dl)
cat("\nTest warunku (model z sesją):\n"); print(anova(m_sesja)["warunek", ])
ko <- function(m) as.data.frame(summary(contrast(emmeans(m, "warunek"), "trt.vs.ctrl", adjust = "holm"), infer = TRUE))
wy <- function(m) { x <- ko(m); x[, c("estimate", "SE", "lower.CL", "upper.CL")] <- round(x[, c("estimate", "SE", "lower.CL", "upper.CL")], 2)
  x$p.value <- signif(x$p.value, 2); x[, c("contrast", "estimate", "SE", "df", "lower.CL", "upper.CL", "p.value")] }
cat("\nKontrasty względem A, model z sesją:\n"); print(wy(m_sesja), row.names = FALSE)
cat("\nKontrasty względem A, model bez sesji:\n"); print(wy(m_bez), row.names = FALSE)
cat(sprintf("\nSD reszt: z sesją %.2f, bez sesji %.2f\n", sigma(m_sesja), sigma(m_bez)))

# 2000 powtórzeń: cztery schematy, bez przeniesienia i z przeniesieniem po warunku C
schematy <- list("Stała kolejność" = stala, "Prosty kwadrat łaciński" = lacinski,
                 "Kwadrat zrównoważony" = zrownowazony, "Pełne kontrbalansowanie" = pelne)
set.seed(4693)
R <- 2000
wyn <- do.call(rbind, lapply(c(0, -6), function(pr) do.call(rbind, lapply(names(schematy), function(nz) {
  w <- t(replicate(R, {
    m <- wg_warunku(symuluj(schematy[[nz]], pr))
    c(BA = mean(m[, 2] - m[, 1]), CA = mean(m[, 3] - m[, 1]), DA = mean(m[, 4] - m[, 1]),
      p = t.test(m[, 2], m[, 1], paired = TRUE)$p.value)
  }))
  data.frame(przeniesienie = pr, schemat = nz, B_A = mean(w[, "BA"]), C_A = mean(w[, "CA"]), D_A = mean(w[, "DA"]),
             odsetek_p_B_A = 100 * mean(w[, "p"] < .05))
}))))
wyn[, 3:6] <- round(wyn[, 3:6], 2)
cat("\nŚrednie oszacowania z 2000 badań (prawda: B–A = 0, C–A = -3, D–A = -8):\n")
print(wyn, row.names = FALSE)
write.csv(wyn, "b469-symulacja.csv", row.names = FALSE, fileEncoding = "UTF-8")
Wynik w R
Średnie czasy w warunkach:
   A    B    C    D 
84.1 84.8 82.4 78.1 
Średnie czasy w sesjach:
   1    2    3    4 
92.5 84.3 78.9 73.7 

Stała kolejność A–B–C–D (osobne losowanie, prawdziwe różnice: B–A 0, D–A -8):
B – A: różnica -11.2 s, t(47) = -7.76, p < .001, 95% CI [-14.1, -8.3]
D – A: różnica -25.8 s, t(47) = -17.91, p < .001, 95% CI [-28.7, -22.9]

Kwadrat zrównoważony, test t dla par (bez sesji w modelu):
B – A: różnica 0.6 s, t(47) = 0.34, p = .739, 95% CI [-3.2, 4.5]
D – A: różnica -6.0 s, t(47) = -3.06, p = .004, 95% CI [-10.0, -2.1]

Test warunku (model z sesją):
Type III Analysis of Variance Table with Satterthwaite's method
        Sum Sq Mean Sq NumDF DenDF F value    Pr(>F)    
warunek 1295.2  431.72     3   138   8.152 4.904e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Kontrasty względem A, model z sesją:
 contrast estimate   SE  df lower.CL upper.CL p.value
    B - A     0.65 1.49 138    -2.95     4.25 0.66000
    C - A    -1.65 1.49 138    -5.25     1.95 0.53000
    D - A    -6.01 1.49 138    -9.61    -2.41 0.00026

Kontrasty względem A, model bez sesji:
 contrast estimate   SE  df lower.CL upper.CL p.value
    B - A     0.65 2.21 141    -4.70     6.00   0.910
    C - A    -1.65 2.21 141    -7.01     3.70   0.910
    D - A    -6.01 2.21 141   -11.36    -0.66   0.022

SD reszt: z sesją 7.28, bez sesji 10.82

Średnie oszacowania z 2000 badań (prawda: B–A = 0, C–A = -3, D–A = -8):
 przeniesienie                 schemat   B_A    C_A    D_A odsetek_p_B_A
             0         Stała kolejność -9.00 -17.01 -24.97        100.00
             0 Prosty kwadrat łaciński  0.00  -2.99  -7.95          0.65
             0    Kwadrat zrównoważony  0.03  -2.98  -7.98          0.80
             0 Pełne kontrbalansowanie  0.04  -2.97  -8.00          0.55
            -6         Stała kolejność -9.02 -17.05 -31.01        100.00
            -6 Prosty kwadrat łaciński  0.02  -3.06 -12.53          0.25
            -6    Kwadrat zrównoważony  0.02  -1.47  -8.00          0.10
            -6 Pełne kontrbalansowanie  0.09  -1.48  -7.99          0.25

Trzy pomiary połączone po kodzie

Dane wejściowe: symulowane pliki z trzech pomiarów stresu (120 osób), duplikat i trzy literówki w kodzie, ubytek zależny od stresu w T1; set.seed(4694); pakiety dplyr, tidyr, lme4, lmerTest.

Co odczytać: liczbę wierszy, duplikaty, kody bez pary, przepływ uczestników, różnicę między osobami kończącymi i niekończącymi oraz średnią T2 przy różnych analizach.

R
# B469 – trzy pomiary w czasie łączone po kodzie: przepływ uczestników i porównanie ubytku
# Wynik: stres (fikcyjna skala 0–40), T0 – przed sesją, T1 – w sesji, T2 – miesiąc po sesji. Dane symulowane.
library(dplyr)
library(lmerTest)

set.seed(4694)
n <- 120
kod <- replicate(n, paste0(paste(sample(LETTERS, 3, TRUE), collapse = ""), sample(10:99, 1)))
stopifnot(!anyDuplicated(kod))
u <- rnorm(n, 0, 5)
t0 <- 20 + u + rnorm(n, 0, 3); t1 <- 26 + u + rnorm(n, 0, 3); t2 <- 18 + u + rnorm(n, 0, 3)
# Udział: w T1 odpadają 15% osób; w T2 częściej odpadają osoby z wysokim stresem w T1
jest1 <- rbinom(n, 1, .85) == 1
jest2 <- jest1 & rbinom(n, 1, plogis(1.2 - .30 * (t1 - mean(t1)))) == 1

f0 <- data.frame(kod = kod, t0 = round(t0))
f0 <- rbind(f0, f0[17, ])                      # ta sama osoba wysłała ankietę dwa razy
f1 <- data.frame(kod = kod[jest1], t1 = round(t1[jest1]))
f2 <- data.frame(kod = kod[jest2], t2 = round(t2[jest2]))
# Literówki w kodzie w T1: ostatnia cyfra zmieniona u trzech osób
li <- c(4, 21, 55); popr <- f1$kod[li]
f1$kod[li] <- paste0(substr(popr, 1, 4), (as.integer(substr(popr, 5, 5)) + 1) %% 10)

cat(sprintf("Wiersze: T0 = %d, T1 = %d, T2 = %d\n", nrow(f0), nrow(f1), nrow(f2)))
cat("Duplikaty kodu w T0:", sum(duplicated(f0$kod)), "\n")
f0 <- f0[!duplicated(f0$kod), ]
sieroty <- anti_join(f1, f0, by = "kod")
cat("Kody z T1 bez pary w T0:", nrow(sieroty), "\n")
# Poprawki z dziennika zmian: kod błędny -> kod właściwy, po sprawdzeniu metryczki
f1$kod[li] <- popr

szer <- f0 %>% left_join(f1, by = "kod") %>% left_join(f2, by = "kod")
stopifnot(nrow(szer) == n)
cat(sprintf("Przepływ: T0 = %d, T0 i T1 = %d (%.1f%%), komplet T0–T2 = %d (%.1f%%)\n", n, sum(!is.na(szer$t1)),
            100 * mean(!is.na(szer$t1)), sum(!is.na(szer$t2)), 100 * mean(!is.na(szer$t2))))

komp <- !is.na(szer$t2)
sd_w <- sqrt((var(szer$t0[komp]) + var(szer$t0[!komp])) / 2)
cat(sprintf("Stres w T0: ukończyli M = %.1f, nie ukończyli M = %.1f, standaryzowana różnica %.2f\n",
            mean(szer$t0[komp]), mean(szer$t0[!komp]), (mean(szer$t0[komp]) - mean(szer$t0[!komp])) / sd_w))
kt1 <- !is.na(szer$t1)
sd_w1 <- sqrt((var(szer$t1[komp]) + var(szer$t1[kt1 & !komp])) / 2)
cat(sprintf("Stres w T1 (osoby z T1): ukończyli M = %.1f, nie ukończyli M = %.1f, standaryzowana różnica %.2f\n",
            mean(szer$t1[komp]), mean(szer$t1[kt1 & !komp]), (mean(szer$t1[komp]) - mean(szer$t1[kt1 & !komp])) / sd_w1))

dlugi <- tidyr::pivot_longer(szer, t0:t2, names_to = "pomiar", values_to = "stres")
m_mix <- lmer(stres ~ pomiar + (1 | kod), data = dlugi)
b <- fixef(m_mix)
cat(sprintf("Różnica T2 – T1, prawda dla całej próby: %.2f\n", mean(round(t2) - round(t1))))
cat(sprintf("Różnica T2 – T1, tylko komplet (n = %d): %.2f\n", sum(komp), mean(szer$t2[komp] - szer$t1[komp])))
cat(sprintf("Różnica T2 – T1, model mieszany (wszystkie obserwacje): %.2f\n", b[["pomiart2"]] - b[["pomiart1"]]))
cat(sprintf("Średnia T2 (prawda %.1f): tylko osoby z T2 %.1f; model mieszany %.1f\n", mean(round(t2)),
            mean(szer$t2, na.rm = TRUE), b[["(Intercept)"]] + b[["pomiart2"]]))
Wynik w R
Wiersze: T0 = 121, T1 = 100, T2 = 73
Duplikaty kodu w T0: 1 
Kody z T1 bez pary w T0: 3 
Przepływ: T0 = 120, T0 i T1 = 100 (83.3%), komplet T0–T2 = 73 (60.8%)
Stres w T0: ukończyli M = 20.1, nie ukończyli M = 21.5, standaryzowana różnica -0.26
Stres w T1 (osoby z T1): ukończyli M = 25.6, nie ukończyli M = 31.0, standaryzowana różnica -1.11
Różnica T2 – T1, prawda dla całej próby: -7.91
Różnica T2 – T1, tylko komplet (n = 73): -7.64
Różnica T2 – T1, model mieszany (wszystkie obserwacje): -8.14
Średnia T2 (prawda 18.8): tylko osoby z T2 17.9; model mieszany 18.7

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3; rysunki przygotowano w pakietach ggplot2 i svglite. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. lme4 (wersja 2.0.1): Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48. https://doi.org/10.18637/jss.v067.i01
  3. lmerTest (wersja 3.2.1): Kuznetsova, A., Brockhoff, P. B., & Christensen, R. H. B. (2017). lmerTest package: Tests in linear mixed effects models. Journal of Statistical Software, 82(13), 1–26. https://doi.org/10.18637/jss.v082.i13
  4. emmeans (wersja 2.0.2): Lenth, R. V., & Piaskowski, J. (2026). emmeans: Estimated marginal means, aka least-squares means [R package]. https://doi.org/10.32614/CRAN.package.emmeans
  5. pwr (wersja 1.3.0): Champely, S. (2020). pwr: Basic functions for power analysis [R package]. https://doi.org/10.32614/CRAN.package.pwr
  6. dplyr (wersja 1.2.0): Wickham, H., François, R., Henry, L., Müller, K., & Vaughan, D. (2026). dplyr: A grammar of data manipulation [R package]. https://doi.org/10.32614/CRAN.package.dplyr
  7. tidyr (wersja 1.3.2): Wickham, H., Vaughan, D., & Girlich, M. (2025). tidyr: Tidy messy data [R package]. https://doi.org/10.32614/CRAN.package.tidyr
  8. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  9. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An ‘SVG’ graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Przed badaniem i przed oddaniem metody sprawdź…

  • Czy czynnik powtarzany to warunek, czas, czy oba – i czy napisano to wprost?
  • Czy kolejności są podane, a ich liczba odpowiada liczbie warunków i przyjętemu schematowi?
  • Czy przydział do kolejności był losowy, blokowy i przygotowany przed badaniem?
  • Czy N jest wielokrotnością liczby kolejności?
  • Czy zaplanowano próbę treningową, wersje równoległe i przerwy, a odstęp ma uzasadnienie?
  • Czy zadania lub bodźce przypisano do warunków w opisany sposób?
  • Czy pozycja w sesji jest w modelu?
  • Czy kody łączenia mają kontrolę duplikatów i braków pary oraz dziennik zmian?
  • Czy podajesz liczebność w każdym pomiarze i opis osób, które odpadły?
  • Czy wnioski nie mówią o przyczynie, jeśli kolejność była stała albo pomiar był tylko w czasie?

Najczęstsze pytania

Czym różni się kwadrat łaciński od kwadratu zrównoważonego?

Prosty kwadrat łaciński sprawia, że każdy warunek stoi raz na każdej pozycji, ale w stałej kolejności następuje po tym samym warunku. Kwadrat zrównoważony (Williamsa) dodatkowo równoważy bezpośredniego poprzednika: każdy warunek ma każdego poprzednika raz. W symulacji z przeniesieniem prosty kwadrat zawyżał różnicę o 4.5 s, a zrównoważony jej nie zawyżał.

Ile osób potrzebuję przy czterech warunkach i kontrbalansowaniu?

Tyle, ile wynika z analizy mocy, zaokrąglone w górę do wielokrotności liczby kolejności. W przykładzie analiza dla pary warunków dała 42 osoby, a zaplanowano 48, czyli po 12 na każdą z czterech sekwencji. Przy pełnym kontrbalansowaniu czterech warunków N musi być wielokrotnością 24.

Czy pomiary przed, w trakcie i po można kontrbalansować?

Nie. Czas płynie w jedną stronę, więc kontrbalansuje się tylko warunki. Przy pomiarach w czasie opisz terminy, odstępy i ubytek, a wnioski formułuj jako opis zmiany, nie jej przyczyny, chyba że masz grupę porównawczą i odpowiedni schemat.

Co wpisać w metodzie, jeśli część osób nie wypełniła ostatniego pomiaru?

Podaj liczbę osób w każdym pomiarze i liczbę z kompletem danych, porównaj osoby, które odpadły, z pozostałymi na wcześniejszych pomiarach i napisz, czy analiza korzysta z danych częściowych. W przykładzie T0 wypełniło 120 osób, a T2 73.

Czy w analizie trzeba uwzględnić kolejność, skoro ją kontrbalansowałem(-am)?

Warto. Kontrbalansowanie zabezpiecza przed obciążeniem, a dodanie sesji lub pozycji do modelu zmniejsza błąd. W przykładzie błąd standardowy kontrastu spadł z 2.21 do 1.49 przy tych samych oszacowaniach.

Powiązane hasła

Przeczytaj też

Masz badanie z powtarzanymi pomiarami i nie wiesz, jak je opisać?

Pomożemy zaplanować kolejność warunków, połączyć pomiary i dobrać model, sprawdzimy obliczenia w R lub SPSS i wyjaśnimy wyniki tak, żebyś umiał(a) samodzielnie je opisać i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Brooks, J. L. (2012). Counterbalancing for serial order carryover effects in experimental condition orders. Psychological Methods, 17(4), 600–614. https://doi.org/10.1037/a0029310 ● Otwarty dostęp: pełny tekst
  2. Calamia, M., Markon, K., & Tranel, D. (2012). Scoring higher the second time around: Meta-analyses of practice effects in neuropsychological assessment. The Clinical Neuropsychologist, 26(4), 543–570. https://doi.org/10.1080/13854046.2012.680913
  3. Graham, J. W. (2009). Missing data analysis: Making it work in the real world. Annual Review of Psychology, 60(1), 549–576. https://doi.org/10.1146/annurev.psych.58.110405.085530
  4. Greenwald, A. G. (1976). Within-subjects designs: To use or not to use? Psychological Bulletin, 83(2), 314–320. https://doi.org/10.1037/0033-2909.83.2.314
  5. Hausknecht, J. P., Halpert, J. A., Di Paolo, N. T., & Moriarty Gerrard, M. O. (2007). Retesting in selection: A meta-analysis of coaching and practice effects for tests of cognitive ability. Journal of Applied Psychology, 92(2), 373–385. https://doi.org/10.1037/0021-9010.92.2.373
  6. Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4, Article 863. https://doi.org/10.3389/fpsyg.2013.00863 ● Otwarty dostęp
  7. Pollatsek, A., & Well, A. D. (1995). On the use of counterbalanced designs in cognitive research: A suggestion for a better and more powerful analysis. Journal of Experimental Psychology: Learning, Memory, and Cognition, 21(3), 785–794. https://doi.org/10.1037/0278-7393.21.3.785
  8. Twisk, J., & de Vente, W. (2002). Attrition in longitudinal studies: How to deal with missing data. Journal of Clinical Epidemiology, 55(4), 329–337. https://doi.org/10.1016/s0895-4356(01)00476-0
  9. Williams, E. J. (1949). Experimental designs balanced for the estimation of residual effects of treatments. Australian Journal of Scientific Research Series A: Physical Sciences, 2(2), 149–168. https://doi.org/10.1071/ch9490149

Cytowania BibTeX

@article{brooks2012counterbalancing, author={Brooks, Joseph L.}, title={{Counterbalancing for serial order carryover effects in experimental condition orders}}, journal={Psychological Methods}, year={2012}, volume={17}, number={4}, pages={600--614}, doi={10.1037/a0029310}}
@article{calamia2012scoring, author={Calamia, Matthew and Markon, Kristian and Tranel, Daniel}, title={{Scoring higher the second time around: Meta-analyses of practice effects in neuropsychological assessment}}, journal={The Clinical Neuropsychologist}, year={2012}, volume={26}, number={4}, pages={543--570}, doi={10.1080/13854046.2012.680913}}
@article{graham2009missing, author={Graham, John W.}, title={{Missing data analysis: Making it work in the real world}}, journal={Annual Review of Psychology}, year={2009}, volume={60}, number={1}, pages={549--576}, doi={10.1146/annurev.psych.58.110405.085530}}
@article{greenwald1976within, author={Greenwald, Anthony G.}, title={{Within-subjects designs: To use or not to use?}}, journal={Psychological Bulletin}, year={1976}, volume={83}, number={2}, pages={314--320}, doi={10.1037/0033-2909.83.2.314}}
@article{hausknecht2007retesting, author={Hausknecht, John P. and Halpert, Jane A. and Di Paolo, Nicole T. and Moriarty Gerrard, Meghan O.}, title={{Retesting in selection: A meta-analysis of coaching and practice effects for tests of cognitive ability}}, journal={Journal of Applied Psychology}, year={2007}, volume={92}, number={2}, pages={373--385}, doi={10.1037/0021-9010.92.2.373}}
@article{lakens2013calculating, author={Lakens, Daniël}, title={{Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs}}, journal={Frontiers in Psychology}, year={2013}, volume={4}, eid={863}, doi={10.3389/fpsyg.2013.00863}}
@article{pollatsek1995use, author={Pollatsek, Alexander and Well, Arnold D.}, title={{On the use of counterbalanced designs in cognitive research: A suggestion for a better and more powerful analysis}}, journal={Journal of Experimental Psychology: Learning, Memory, and Cognition}, year={1995}, volume={21}, number={3}, pages={785--794}, doi={10.1037/0278-7393.21.3.785}}
@article{twisk2002attrition, author={Twisk, Jos and de Vente, Wieke}, title={{Attrition in longitudinal studies: How to deal with missing data}}, journal={Journal of Clinical Epidemiology}, year={2002}, volume={55}, number={4}, pages={329--337}, doi={10.1016/s0895-4356(01)00476-0}}
@article{williams1949experimental, author={Williams, E. J.}, title={{Experimental designs balanced for the estimation of residual effects of treatments}}, journal={Australian Journal of Scientific Research Series A: Physical Sciences}, year={1949}, volume={2}, number={2}, pages={149--168}, doi={10.1071/ch9490149}}
R