Kalkulatory · Dane wielopoziomowe

Kalkulator ICC i efektu schematu: korelacja wewnątrzklasowa, DEFF i liczba grup

Policz ICC z wariancji modelu pustego, z tabeli ANOVA albo dla wyniku binarnego, przelicz go na efekt schematu i efektywną liczebność próby – także przy nierównych grupach – i sprawdź, ile klas, szkół lub poradni musisz zbadać.

Strona główna / Blog / Kalkulator ICC i DEFF
W skrócie: ICC = τ00 / (τ00 + σ²) mówi, jaka część wariancji wyniku przypada na różnice między grupami; dla wyniku binarnego w mianowniku zamiast σ² stoi π²/3. Efekt schematu DEFF = 1 + (m − 1) × ICC pokazuje, ile razy zgrupowanie zwiększa wariancję oszacowań, a N / DEFF to efektywna liczebność próby. Przy nierównych grupach użyj wzoru Eldridge i in. (2006) ze współczynnikiem zmienności wielkości grup, a do planowania przyjmuj ostrożne ICC.

Kalkulator ICC, efektu schematu i liczby grup

Ile informacji tracisz przez zgrupowanie danych?

Wybierz, co chcesz policzyć. Ułamki wpisuj z kropką albo z przecinkiem. Domyślne wartości to przykład omówiony niżej. Obliczenia wykonuje Twoja przeglądarka: wpisane liczby nie są nigdzie wysyłane ani zapisywane.

Kalkulator wymaga włączonej obsługi JavaScriptu. Wyniki dla wartości domyślnych znajdziesz w przykładzie poniżej.

Gotowy opis do pracy

Opis wyniku pojawi się tutaj po obliczeniu.

Jak używać kalkulatora

Kalkulator obsługuje trzy kroki, które pojawiają się zawsze, gdy osoby badane są zgrupowane: uczniowie w klasach, pacjenci w poradniach, pracownicy w zespołach. Najpierw szacujesz, jak bardzo osoby z jednej grupy są do siebie podobne. Potem przeliczasz to podobieństwo na utratę informacji. Na końcu planujesz, ile grup trzeba zbadać.

  1. Tryb (a): ICC. Masz wyniki modelu pustego z programu do modeli wielopoziomowych? Wpisz wariancję międzygrupową τ₀₀ (wariancja efektu losowego grupy) i wariancję wewnątrzgrupową σ² (wariancja reszt). Masz tylko tabelę jednoczynnikowej ANOVA z grupą jako czynnikiem? Wybierz drugą opcję i wpisz średnie kwadraty oraz liczebność grupy. Dla wyniku 0/1 wybierz trzecią opcję i wpisz wariancję efektu losowego z modelu logistycznego.
  2. Tryb (b): efekt schematu. Wpisz ICC, średnią wielkość grupy i łączną liczbę osób. Gdy grupy są nierówne, dodaj współczynnik zmienności (CV) ich wielkości albo wklej listę wielkości wszystkich grup, a kalkulator sam policzy średnią i CV.
  3. Tryb (c): liczba grup. Wpisz liczebność, jakiej potrzebowałbyś, gdyby losować pojedyncze osoby (np. z kalkulatora liczebności próby), oraz ICC i wielkość grup. Wynik jest w tych samych jednostkach: liczebność na jedno ramię daje liczbę grup na jedno ramię.

Pod wynikiem pojawia się gotowe zdanie do pracy. Kalkulator nie zastąpi analizy danych: jak dopasować model i odczytać τ₀₀ oraz σ², pokazuje poradnik model wielopoziomowy krok po kroku.

Wzory

Współczynnik korelacji wewnątrzklasowej to udział wariancji między grupami w całkowitej wariancji wyniku. Z modelu pustego:

ICC = τ00 / (τ00 + σ²)

Z jednoczynnikowej analizy wariancji, przy równych grupach liczących n osób:

ICC(1) = (MSB − MSW) / [MSB + (n − 1) × MSW]

To ta sama postać współczynnika co w modelu jednoczynnikowym z losowym efektem grupy, jedna z sześciu form ICC, które opisują Shrout i Fleiss (1979). Gdy MSB < MSW, wynik wychodzi ujemny. Wartość populacyjna nie może być ujemna, więc taki wynik czytaj jako ICC bliskie zera.

W wielopoziomowej regresji logistycznej nie ma osobnej wariancji reszt. Wariancję poziomu 1 przyjmuje się więc jako wariancję standardowego rozkładu logistycznego, π²/3 ≈ 3.29 (Sommet i Morselli, 2017):

ICClatentne = τ00 / (τ00 + π²/3)

Efekt schematu (DEFF) mówi, ile razy wariancja oszacowania jest większa niż w prostej próbie losowej tej samej liczebności. Przy równych grupach liczących m osób:

DEFF = 1 + (m − 1) × ICC     nef = N / DEFF

Przy grupach nierównych Eldridge i in. (2006) zaproponowali wzór ze współczynnikiem zmienności wielkości grup (CV = SD wielkości grup / średnia wielkość m̄). W tej postaci przytaczają go Rutterford i in. (2015):

DEFFCV = 1 + [(CV² + 1) × m̄ − 1] × ICC

Przy CV = 0 wzór sprowadza się do zwykłego DEFF. Kalkulator liczy CV z listy wielkości z SD o mianowniku k − 1 (jak funkcja sd() w R). Liczba grup w trybie (c) to liczebność dla randomizacji osób pomnożona przez DEFF i podzielona przez średnią wielkość grupy, zaokrąglona w górę:

k = ⌈nind × DEFF / m̄⌉

Tak właśnie wygląda najprostsza procedura planowania badania klastrowego: policz liczebność jak dla randomizacji osób i powiększ ją o efekt schematu (Rutterford i in., 2015).

Przykład liczbowy

Zespół planuje badanie programu redukcji stresu szkolnego, w którym losowane będą całe klasy. W pilotażu (dane symulowane) zbadano 30 klas po 20 uczniów skalą stresu szkolnego. Wszystkie liczby poniżej pochodzą z kodu R w następnej sekcji i są wpisane domyślnie w kalkulator.

Wyniki obliczeń ICC, efektu schematu i liczby klas w przykładzie z badaniem stresu szkolnego
KrokDane wejścioweWynik
(a) ICC z modelu pustegoτ₀₀ = 3.208, σ² = 37.204ICC = .079
(a) ICC(1) z ANOVAMSB = 101.359, MSW = 37.204, n = 20ICC(1) = .079
(a) Wynik binarny „wysoki stres”τ₀₀ = 0.672 (logit)ICC = .170
(b) Równe klasyICC = .10, m = 22, N = 880DEFF = 3.10, nef = 283.9
(b) Nierówne klasyjak wyżej, CV = 0.30DEFF = 3.30, nef = 266.8
(c) Liczba klas na grupęnind = 176, ICC = .10, m̄ = 2225 klas (546 uczniów); przy CV = 0.30 – 27 klas (581 uczniów)

Model pusty i ANOVA dały to samo ICC = .079. Przy równych grupach i dodatnim oszacowaniu metoda REML i estymator z ANOVA się pokrywają. Około 7.9% wariancji stresu przypada więc na różnice między klasami. Dla dychotomicznej zmiennej „wysoki stres” ICC na skali latentnej wyniósł .170.

Do planowania badania głównego zespół przyjął ostrożniej ICC = .10. Pilotaż objął tylko 30 klas, a ICC z jednego małego badania jest niepewne. W badaniu głównym ma być 40 klas po średnio 22 uczniów. DEFF = 3.10, więc 880 uczniów niesie tyle informacji co około 284 niezależne osoby. Klasy nie są jednak równe: przy CV = 0.30, a więc powyżej progu 0.23 podanego przez Eldridge i in. (2006), efekt schematu rośnie do 3.30, a efektywna liczebność spada do 267.

Ile klas potrzeba? Test t dla d = 0.30, α = .05 i mocy .80 wymaga 176 osób na grupę przy losowaniu pojedynczych uczniów. Po korekcie o efekt schematu to 546 uczniów, czyli 25 klas na grupę. Przy nierównych klasach – 27 klas na grupę.

Przykład reprodukowalny

Ten sam przykład w R

Kod symuluje pilotaż, szacuje ICC trzema sposobami i liczy efekt schematu oraz liczbę klas.

ICC z lme4 i ANOVA, efekt schematu, liczba klas

Dane wejściowe: 30 klas po 20 uczniów, skala stresu szkolnego i dychotomia „wysoki stres” (dane symulowane, set.seed(1010)); plan badania głównego: ICC = .10, średnio 22 uczniów w klasie, CV = 0.30, d = 0.30.

Co odczytać: τ₀₀, σ² i ICC z VarCorr(), ICC(1) z tabeli ANOVA, ICC na skali latentnej, DEFF z efektywną liczebnością oraz liczbę uczniów i klas na grupę.

R
library(lme4)
set.seed(1010)
k <- 30; n <- 20                                     # badanie pilotażowe: 30 klas po 20 uczniów
klasa <- factor(rep(1:k, each = n))
u <- rnorm(k, 0, sqrt(4))                            # różnice między klasami (tau00 = 4)
stres <- 25 + u[klasa] + rnorm(k * n, 0, 6)          # skala stresu szkolnego, sigma2 = 36
pilot <- data.frame(klasa, stres)

# (a1) ICC z wariancji: model pusty w lme4
m0 <- lmer(stres ~ 1 + (1 | klasa), data = pilot, REML = TRUE)
vc <- as.data.frame(VarCorr(m0))
tau00 <- vc$vcov[1]; sigma2 <- vc$vcov[2]
round(c(tau00 = tau00, sigma2 = sigma2, ICC = tau00 / (tau00 + sigma2)), 3)

# (a2) ICC(1) z jednoczynnikowej ANOVA
tab <- summary(aov(stres ~ klasa, data = pilot))[[1]]
MSB <- tab[1, "Mean Sq"]; MSW <- tab[2, "Mean Sq"]
round(c(MSB = MSB, MSW = MSW, ICC1 = (MSB - MSW) / (MSB + (n - 1) * MSW)), 3)

# (a3) wynik binarny: wysoki stres (tak/nie), wielopoziomowa regresja logistyczna
p_klasy <- plogis(-1 + rnorm(k, 0, sqrt(0.5)))       # tau00 = 0.5 na skali logitu
wysoki <- rbinom(k * n, 1, p_klasy[klasa])
m1 <- glmer(wysoki ~ 1 + (1 | klasa), family = binomial, data = data.frame(klasa, wysoki))
tau_bin <- as.data.frame(VarCorr(m1))$vcov[1]
round(c(tau00 = tau_bin, ICC_latentne = tau_bin / (tau_bin + pi^2 / 3)), 3)

# (b) efekt schematu w badaniu głównym: 40 klas, średnio 22 uczniów, CV wielkości klas = 0.30
icc <- 0.10; m <- 22; cv <- 0.30; N <- 40 * m
deff_rowne <- 1 + (m - 1) * icc
deff_cv <- 1 + ((cv^2 + 1) * m - 1) * icc            # Eldridge i in. (2006)
round(c(DEFF = deff_rowne, n_ef = N / deff_rowne, DEFF_CV = deff_cv, n_ef_CV = N / deff_cv), 2)

# (c) liczba klas: test t dla d = 0.30, alfa = .05, moc .80
n_ind <- ceiling(power.t.test(delta = 0.30, power = 0.80)$n)   # na grupę przy randomizacji osób
n_klast <- n_ind * c(rowne = deff_rowne, cv = deff_cv)
c(n_ind = n_ind, uczniow = ceiling(n_klast), klas_na_grupe = ceiling(n_klast / m))
Wynik w R
 tau00 sigma2    ICC
 3.208 37.204  0.079
    MSB     MSW    ICC1
101.359  37.204   0.079
       tau00 ICC_latentne
       0.672        0.170
   DEFF    n_ef DEFF_CV n_ef_CV
   3.10  283.87    3.30  266.83
              n_ind       uczniow.rowne          uczniow.cv klas_na_grupe.rowne
                176                 546                 581                  25
   klas_na_grupe.cv
                 27 

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (pakiet lme4 oraz funkcje aov() i power.t.test() z pakietu stats). Zgodność kalkulatora z R sprawdzono na 43 przypadkach testowych; w czterech z nich ICC policzone przez kalkulator z wariancji z VarCorr() porównano z wynikiem funkcji icc() z pakietu performance dla modeli lme4 dopasowanych do danych symulowanych.

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. lme4 (wersja 2.0.1): Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48. https://doi.org/10.18637/jss.v067.i01
  3. performance (wersja 0.16.0): Lüdecke, D., Ben-Shachar, M. S., Patil, I., Waggoner, P., & Makowski, D. (2021). performance: An R package for assessment, comparison and testing of statistical models. Journal of Open Source Software, 6(60), 3139. https://doi.org/10.21105/joss.03139

Jak interpretować wynik

O tym, ile tracisz, decyduje DEFF, a nie samo ICC. ICC = .02 wygląda niewinnie, ale w grupach po 100 osób daje DEFF = 2.98. ICC = .30 w parach (m = 2) daje tylko 1.30. Zawsze patrz na iloczyn ICC i wielkości grupy.

  • Efektywna liczebność to liczba niezależnych obserwacji, która dałaby tę samą precyzję. Killip i in. (2004) zalecają liczyć moc badania klastrowego właśnie na jej podstawie. Traktowanie wszystkich osób jak niezależnych to pseudoreplikacja: błędy standardowe są zaniżone, a wartości p zbyt małe. Aarts i in. (2014) pokazali, że ignorowanie zależności obserwacji może podnieść odsetek fałszywie istotnych wyników daleko ponad nominalne α.
  • Więcej grup czy większe grupy? Przy ICC = .10 dokładanie osób do istniejących grup szybko przestaje pomagać, bo DEFF rośnie razem z m. Killip i in. (2004) podkreślają, że zwiększanie liczby grup podnosi moc skuteczniej niż zwiększanie liczby osób w grupie. Sprawdź to w trybie (c), zmniejszając m.
  • Nierówne grupy. Eldridge i in. (2006) wskazują, że przy CV < 0.23 poprawka ma znikomy wpływ. Według autorów wzór z CV dobrze szacuje liczebność dla analizy na poziomie grup ważonej ich wielkością, a dla większości analiz na poziomie osób daje wynik zachowawczy, czyli raczej zawyżony (Eldridge i in., 2006; Rutterford i in., 2015).
  • ICC na skali latentnej opisuje podobieństwo w skłonności do odpowiedzi „tak”, a nie korelację surowych odpowiedzi 0/1. Nie porównuj go wprost z ICC wyniku ciągłego. Jak dopasować taki model i odczytać τ₀₀, pokazuje wpis o wielopoziomowej regresji logistycznej.

Popularnej reguły „DEFF poniżej 2, więc można pominąć zagnieżdżenie” nie stosuj odruchowo. Lai i Kwok (2015) pokazali w symulacjach, że zawodzi ona, gdy interesują cię predyktory na poziomie grup albo gdy grupy liczą mniej niż 10 osób. Dane zgrupowane analizuj modelem z efektem losowym grupy. Kalkulator pomaga zaplanować badanie i ocenić skalę problemu, ale analizy nie zastępuje.

Ograniczenia

  • ICC do planowania jest niepewne. Wynik trybów (b) i (c) jest tak dobry jak przyjęte ICC. Weź je z badań o podobnej populacji i podobnych grupach. Policz też wariant z wyższym ICC: w przykładzie z 22 uczniami w klasie ICC = .05 daje 17 klas na grupę, a ICC = .10 – już 25.
  • ICC(1) z ANOVA zakłada równe grupy. Przy nierównych grupach wzór z n jest przybliżeniem. Lepiej dopasuj model pusty i wpisz τ₀₀ oraz σ².
  • To nie jest ICC rzetelności. Kalkulator liczy ICC jako miarę podobieństwa osób w grupach. Zgodność sędziów i stabilność pomiaru to inne formy ICC, opisane we wpisie o zgodności sędziów.
  • Wzór na liczbę grup to przybliżenie. Nie uwzględnia kowariant, odpadania, schematów warstwowych ani poprawek dla małej liczby grup. Przy kilkunastu grupach lub mniej zaplanuj analizę z poprawką dla małych prób i omów ją ze statystykiem. Szerzej piszemy o tym w poradniku o badaniu z randomizacją klastrową.
  • Jedno ICC na wynik. Różne wyniki w tym samym badaniu mają różne ICC. Planuj liczebność dla wyniku pierwszorzędowego.

Zapis w pracy (APA)

W części o liczebności próby podaj przyjęte ICC i jego źródło, wielkość grup (średnią i CV), efekt schematu i wynikającą z niego liczbę grup. Rozszerzenie CONSORT dla badań klastrowych wymaga podania w opisie liczebności liczby grup, ich wielkości i ICC z miarą niepewności, a w wynikach – ICC dla każdego wyniku pierwszorzędowego (Campbell i in., 2004). ICC zapisuj bez zera wiodącego, a DEFF z zerem.

Liczebność próby wyznaczono dla testu t dla dwóch grup niezależnych (d = 0.30, α = .05, moc .80), co przy randomizacji pojedynczych uczniów wymagałoby 176 osób na grupę. Ponieważ losowano klasy, liczebność skorygowano o efekt schematu. Przyjęto ICC = .10 (w badaniu pilotażowym na 30 klasach ICC = .079), średnią wielkość klasy 22 uczniów i współczynnik zmienności wielkości klas CV = 0.30. Efekt schematu według wzoru Eldridge i in. (2006) wyniósł 3.30, co daje 581 uczniów, czyli 27 klas na grupę.

Jak zbudować cały plan liczebności, w tym analizę mocy dla randomizacji osób, pokazuje poradnik dobór liczebności próby. Jeśli planujesz badanie klastrowe do wniosku grantowego albo artykułu i chcesz, żeby ktoś sprawdził założenia, zajrzyj do oferty analiz dla badaczy.

Najczęstsze pytania

Jak obliczyć ICC z wyników lmer w R?

Dopasuj model pusty lmer(y ~ 1 + (1 | grupa)), odczytaj z VarCorr() wariancję efektu losowego grupy (τ00) i wariancję reszt (σ²), a potem policz τ00 / (τ00 + σ²). W przykładzie na tej stronie 3.208 / (3.208 + 37.204) daje ICC = .079. Ten sam wynik zwraca funkcja icc() z pakietu performance.

Jak policzyć ICC dla zmiennej binarnej w modelu wielopoziomowym?

W wielopoziomowej regresji logistycznej nie ma wariancji reszt, więc wariancję poziomu 1 przyjmuje się jako π²/3 ≈ 3.29. ICC = τ00 / (τ00 + 3.29), gdzie τ00 to wariancja efektu losowego na skali logitu. To ICC na skali latentnej, którego nie porównuje się wprost z ICC wyniku ciągłego.

Co oznacza ujemne ICC(1) z ANOVA?

Ujemne ICC(1) pojawia się, gdy średni kwadrat między grupami jest mniejszy niż wewnątrz grup. Prawdziwe ICC nie może być ujemne, więc taki wynik oznacza ICC bliskie zera, zwykle przy małej liczbie grup. Do planowania badania przyjmij wtedy ICC z literatury, a nie zero z jednego badania.

Jak policzyć efekt schematu, gdy klasy mają różną liczebność?

Użyj wzoru Eldridge i in. (2006): DEFF = 1 + [(CV² + 1) × m̄ − 1] × ICC, gdzie m̄ to średnia wielkość grupy, a CV – odchylenie standardowe wielkości grup podzielone przez średnią. Przy ICC = .10, m̄ = 22 i CV = 0.30 DEFF wynosi 3.30 zamiast 3.10. Przy CV poniżej 0.23 poprawka ma znikomy wpływ.

Jak przeliczyć liczebność próby na liczbę klas lub szkół?

Policz liczebność jak dla losowania pojedynczych osób, pomnóż ją przez efekt schematu i podziel przez średnią wielkość grupy, zaokrąglając w górę. Przykład: 176 osób na grupę × 3.10 / 22 uczniów daje 25 klas na grupę. Gdy liczba grup wychodzi mała, lepiej zaplanować więcej mniejszych grup niż mniej dużych.

Powiązane hasła

Przeczytaj też

Planujesz badanie w klasach, szkołach albo poradniach?

Pomożemy dobrać ICC do planowania, policzyć liczbę grup przy nierównych klastrach i zaplanować analizę wielopoziomową, którą obronisz przed recenzentami.

Oferta dla badaczyPorozmawiaj o projekcie

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Aarts, E., Verhage, M., Veenvliet, J. V., Dolan, C. V., & van der Sluis, S. (2014). A solution to dependency: Using multilevel analysis to accommodate nested data. Nature Neuroscience, 17(4), 491–496. https://doi.org/10.1038/nn.3648
  2. Campbell, M. K., Elbourne, D. R., & Altman, D. G. (2004). CONSORT statement: Extension to cluster randomised trials. BMJ, 328(7441), 702–708. https://doi.org/10.1136/bmj.328.7441.702 ● Otwarty dostęp
  3. Eldridge, S. M., Ashby, D., & Kerry, S. (2006). Sample size for cluster randomized trials: Effect of coefficient of variation of cluster size and analysis method. International Journal of Epidemiology, 35(5), 1292–1300. https://doi.org/10.1093/ije/dyl129 ● Otwarty dostęp
  4. Killip, S., Mahfoud, Z., & Pearce, K. (2004). What is an intracluster correlation coefficient? Crucial concepts for primary care researchers. Annals of Family Medicine, 2(3), 204–208. https://doi.org/10.1370/afm.141 ● Otwarty dostęp
  5. Lai, M. H. C., & Kwok, O. (2015). Examining the rule of thumb of not using multilevel modeling: The “design effect smaller than two” rule. The Journal of Experimental Education, 83(3), 423–438. https://doi.org/10.1080/00220973.2014.907229
  6. Rutterford, C., Copas, A., & Eldridge, S. (2015). Methods for sample size determination in cluster randomized trials. International Journal of Epidemiology, 44(3), 1051–1067. https://doi.org/10.1093/ije/dyv113 ● Otwarty dostęp
  7. Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428. https://doi.org/10.1037/0033-2909.86.2.420
  8. Sommet, N., & Morselli, D. (2017). Keep calm and learn multilevel logistic modeling: A simplified three-step procedure using Stata, R, Mplus, and SPSS. International Review of Social Psychology, 30(1), 203–218. https://doi.org/10.5334/irsp.90 ● Otwarty dostęp

Cytowania BibTeX

@article{aarts2014solution, author={Aarts, Emmeke and Verhage, Matthijs and Veenvliet, Jesse V. and Dolan, Conor V. and van der Sluis, Sophie}, title={{A solution to dependency: Using multilevel analysis to accommodate nested data}}, journal={Nature Neuroscience}, year={2014}, volume={17}, number={4}, pages={491--496}, doi={10.1038/nn.3648}}
@article{campbell2004consort, author={Campbell, Marion K. and Elbourne, Diana R. and Altman, Douglas G.}, title={{CONSORT statement: Extension to cluster randomised trials}}, journal={BMJ}, year={2004}, volume={328}, number={7441}, pages={702--708}, doi={10.1136/bmj.328.7441.702}}
@article{eldridge2006sample, author={Eldridge, Sandra M. and Ashby, Deborah and Kerry, Sally}, title={{Sample size for cluster randomized trials: Effect of coefficient of variation of cluster size and analysis method}}, journal={International Journal of Epidemiology}, year={2006}, volume={35}, number={5}, pages={1292--1300}, doi={10.1093/ije/dyl129}}
@article{killip2004what, author={Killip, Shersten and Mahfoud, Ziyad and Pearce, Kevin}, title={{What is an intracluster correlation coefficient? Crucial concepts for primary care researchers}}, journal={Annals of Family Medicine}, year={2004}, volume={2}, number={3}, pages={204--208}, doi={10.1370/afm.141}}
@article{lai2015examining, author={Lai, Mark H. C. and Kwok, Oi-man}, title={{Examining the rule of thumb of not using multilevel modeling: The “design effect smaller than two” rule}}, journal={The Journal of Experimental Education}, year={2015}, volume={83}, number={3}, pages={423--438}, doi={10.1080/00220973.2014.907229}}
@article{rutterford2015methods, author={Rutterford, Clare and Copas, Andrew and Eldridge, Sandra}, title={{Methods for sample size determination in cluster randomized trials}}, journal={International Journal of Epidemiology}, year={2015}, volume={44}, number={3}, pages={1051--1067}, doi={10.1093/ije/dyv113}}
@article{shrout1979intraclass, author={Shrout, Patrick E. and Fleiss, Joseph L.}, title={{Intraclass correlations: Uses in assessing rater reliability}}, journal={Psychological Bulletin}, year={1979}, volume={86}, number={2}, pages={420--428}, doi={10.1037/0033-2909.86.2.420}}
@article{sommet2017keep, author={Sommet, Nicolas and Morselli, Davide}, title={{Keep calm and learn multilevel logistic modeling: A simplified three-step procedure using Stata, R, Mplus, and SPSS}}, journal={International Review of Social Psychology}, year={2017}, volume={30}, number={1}, pages={203--218}, doi={10.5334/irsp.90}}
R