Słownik metodologiczny · Psychometria

ICC – współczynnik korelacji wewnątrzklasowej: formy, wybór i interpretacja

Współczynnik korelacji wewnątrzklasowej (ICC) mierzy zgodność i rzetelność ocen ilościowych – sędziów, egzaminatorów, powtarzanych pomiarów. Pokazujemy formy ICC według Shrouta i Fleissa oraz McGrawa i Wonga, jak wybrać model, typ i definicję, przykład z czterema egzaminatorami, ICC w modelach wielopoziomowych i opis w APA.

W skrócie: ICC (współczynnik korelacji wewnątrzklasowej) mówi, jaka część zmienności ocen wynika z prawdziwych różnic między ocenianymi obiektami, a jaka z różnic między oceniającymi i błędu. Istnieje kilka form: wybierasz model (jedno- lub dwuczynnikowy), typ (pojedyncza ocena czy średnia) i definicję (zgodność bezwzględna czy spójność). Raportuj formę i 95% przedział ufności, a interpretuj cały przedział: według Koo i Li (2016) poniżej .50 to rzetelność słaba, .50–.75 umiarkowana, .75–.90 dobra, powyżej .90 doskonała.

Co to jest ICC?

Współczynnik korelacji wewnątrzklasowej (ang. intraclass correlation coefficient, ICC) to miara rzetelności i zgodności ocen ilościowych. Mówi, jaka część całkowitej wariancji ocen wynika z prawdziwych różnic między ocenianymi obiektami – osobami, esejami, nagraniami – a jaka z różnic między oceniającymi i z błędu. ICC = 1 oznacza, że cała zmienność ocen to różnice między obiektami; ICC bliskie 0 – że oceny niemal nic o obiektach nie mówią.

Koo i Li (2016) wymieniają trzy główne zastosowania ICC: zgodność różnych oceniających (rzetelność międzysędziowską), rzetelność test–retest i zgodność ocen tego samego oceniającego w kolejnych próbach. Nazwa „wewnątrzklasowa” wzięła się stąd, że ICC opisuje zgodność pomiarów jednego rodzaju – np. kilku ocen tego samego eseju – a nie związek dwóch różnych zmiennych, jak korelacja Pearsona (Liljequist i in., 2019). Ten sam współczynnik pojawia się też w modelach wielopoziomowych, gdzie mierzy podobieństwo osób z tej samej grupy.

Formy ICC: model, typ i definicja

Nie ma jednego ICC. Shrout i Fleiss (1979) opisali sześć form dla sytuacji, w której n obiektów ocenia k sędziów, a McGraw i Wong (1996) uporządkowali dziesięć form i podali dla nich procedury wnioskowania, w tym przedziały ufności. Koo i Li (2016) podsumowują to trzema decyzjami:

  • model – jednoczynnikowy losowy (różne obiekty ocenia różny zestaw oceniających), dwuczynnikowy losowy (oceniający to losowa próba z szerszej populacji oceniających) albo dwuczynnikowy mieszany (interesują Cię tylko ci konkretni oceniający);
  • typ – rzetelność oceny jednego oceniającego (single) albo średniej z k ocen (average);
  • definicja – zgodność bezwzględna (A, absolute agreement: czy oceniający dają te same liczby) albo zgodność w sensie spójności (C, consistency: czy oceny jednego oceniającego to oceny drugiego plus stała).

Wzory korzystają ze średnich kwadratów z analizy wariancji, w której wierszami są obiekty, a kolumnami oceniający:

ICC(A,1) = (MSR − MSE) / [MSR + (k − 1)MSE + k(MSC − MSE) / n]
ICC(C,1) = (MSR − MSE) / [MSR + (k − 1)MSE]

MSR to średni kwadrat dla obiektów (zmienność między obiektami), MSC – dla oceniających, MSE – błędu, n – liczba obiektów, k – liczba oceniających. Jedyna różnica to składnik z MSC: zgodność bezwzględna traktuje systematyczne różnice między oceniającymi jako błąd, a spójność je pomija. Formy dla średniej z k ocen powstają przez usunięcie z mianownika składnika (k − 1)MSE i podzielenie składnika z MSC przez k. W modelu jednoczynnikowym, ICC(1), zamiast MSE występuje MSW – zmienność wewnątrz obiektów.

Formy ICC i ich nazwy w pakiecie psych i w SPSS
FormaShrout i Fleisspsych::ICCSPSS
Jednoczynnikowy, pojedyncza ocenaICC(1,1)ICC1One-Way Random, Single Measures
Dwuczynnikowy, zgodność bezwzględna, pojedyncza ocena: ICC(A,1)ICC(2,1)ICC2Two-Way Random lub Mixed, Absolute Agreement, Single Measures
Dwuczynnikowy, spójność, pojedyncza ocena: ICC(C,1)ICC(3,1)ICC3Two-Way Mixed lub Random, Consistency, Single Measures
Te same trzy formy dla średniej z k ocenICC(1,k), ICC(2,k), ICC(3,k)ICC1k, ICC2k, ICC3kAverage Measures

Modele dwuczynnikowe losowy i mieszany mają te same wzory – różni je interpretacja, czyli to, na jakich oceniających wolno uogólnić wynik. SPSS posługuje się terminologią McGrawa i Wonga (Koo i Li, 2016).

Jak wybrać formę ICC?

Koo i Li (2016) proponują odpowiedzieć na cztery pytania. Czy wszyscy oceniający oceniają wszystkie obiekty? Jeśli nie – na przykład w badaniu wieloośrodkowym – wybierz model jednoczynnikowy. Czy oceniający są losową próbą z populacji oceniających o określonych cechach? Jeśli tak, wybierz model dwuczynnikowy losowy, jeśli liczą się tylko ci konkretni – mieszany. Czy w praktyce wynik będzie pochodził od jednego oceniającego, czy ze średniej z kilku? Od tego zależy typ – nawet jeśli w badaniu rzetelności oceniało kilka osób, a w praktyce będzie oceniać jedna, raportujesz ICC dla pojedynczej oceny. Wreszcie: czy liczą się same wartości (np. próg zaliczenia), czy tylko kolejność obiektów? To rozstrzyga o definicji. W badaniach test–retest Koo i Li zalecają zgodność bezwzględną i model dwuczynnikowy mieszany.

Liljequist i in. (2019) proponują prostszą strategię: policz wszystkie trzy jednopomiarowe ICC. Gdy są niemal równe, błędu systematycznego nie ma. Gdy ICC(C,1) jest wyraźnie wyższy niż ICC(A,1), oceniający różnią się systematycznie – wtedy klasyczny ICC(1) jest mylący, a raportować warto zarówno ICC(A,1), jak i ICC(C,1).

Przykład: czterech egzaminatorów i 20 esejów

Czterech egzaminatorów niezależnie oceniło 20 esejów z psychologii na skali od 0 do 30 punktów (dane symulowane). Egzaminator C był surowszy od pozostałych: jego średnia wyniosła 13.95 punktu, a średnie pozostałych – od 17.05 do 18.15. Rysunek 1 pokazuje, że oceny układają się w podobnej kolejności, ale linia egzaminatora C biegnie niżej.

Wykres liniowy ocen 20 esejów przez czterech egzaminatorów: linie biegną podobnie, ale egzaminator C ocenia niżej (średnia 13.95 wobec 17.05, 18.15 i 17.45)
Rysunek 1. Oceny 20 esejów wystawione przez czterech egzaminatorów; eseje uporządkowano według średniej oceny (szara wstęga). Egzaminator C zachowuje podobną kolejność esejów, ale ocenia systematycznie niżej. Obliczenia: R (dane symulowane).

Analiza wariancji daje MSR = 76.589, MSC = 68.933 i MSE = 4.460 (n = 20, k = 4). Po podstawieniu:

ICC(A,1) = (76.589 − 4.460) / (76.589 + 3 × 4.460 + 4 × (68.933 − 4.460) / 20) = 72.130 / 102.863 = .701
ICC(C,1) = 72.130 / (76.589 + 13.379) = .802

Rysunek 2 zestawia wszystkie sześć form z 95% przedziałami ufności. Spójność ocen jest dobra, ale zgodność bezwzględna pojedynczej oceny – wyraźnie niższa, bo surowość egzaminatora C liczy się jako błąd. Różnice między egzaminatorami potwierdza test F dla oceniających, F(3, 57) = 15.46, p < .001. Korelacje Pearsona między parami egzaminatorów (.71–.87) tej surowości w ogóle nie ujawniają.

Sześć form ICC z 95% CI: ICC(1) = .692, ICC(A,1) = .701 [.43, .86], ICC(C,1) = .802 [.66, .90], ICC(1,4) = .900, ICC(A,4) = .904 [.75, .96], ICC(C,4) = .942 [.88, .97], na tle progów słaba, umiarkowana, dobra i doskonała
Rysunek 2. Sześć form ICC dla tych samych ocen z 95% przedziałami ufności. Tło – progi interpretacyjne Koo i Li (2016); na czerwono ICC(A,1), czyli rzetelność oceny jednego egzaminatora przy zgodności bezwzględnej. Obliczenia: R, pakiet psych (dane symulowane).

Jak interpretować ICC?

Koo i Li (2016) proponują, by poziom rzetelności oceniać na podstawie całego 95% przedziału ufności, a nie samej wartości punktowej: poniżej .50 – słaba, .50–.75 – umiarkowana, .75–.90 – dobra, powyżej .90 – doskonała. Dla ICC(A,1) = .701, 95% CI [.43, .86], wniosek brzmi więc: rzetelność od słabej do dobrej. Średnia z czterech ocen, ICC(A,4) = .904, 95% CI [.75, .96], ma rzetelność dobrą do doskonałej. Praktyczna konsekwencja: jeśli każdy esej ma oceniać jeden egzaminator, trzeba go najpierw przeszkolić albo wprowadzić podwójne ocenianie.

Szerokie przedziały wynikają z małej liczby esejów. Koo i Li (2016) zalecają jako regułę kciuka co najmniej 30 zróżnicowanych obiektów i co najmniej trzech oceniających oraz przypominają, że niski ICC może wynikać nie tylko z niezgodności oceniających, ale też z małego zróżnicowania obiektów. Hallgren (2012) dodaje, że ujemny ICC oznacza systematyczną niezgodność.

ICC w modelach wielopoziomowych

W danych hierarchicznych – uczniowie w klasach, pacjenci u terapeutów – ICC mówi, jaka część wariancji zmiennej przypada na różnice między grupami. Liczy się go z modelu pustego, bez predyktorów; Sommet i Morselli (2017) w przewodniku po wielopoziomowej regresji logistycznej opisują to jako pierwszy krok analizy:

ICC = τ00 / (τ00 + σ²)

gdzie τ00 to wariancja między grupami, a σ² – wariancja wewnątrz grup. W symulowanych danych 600 uczniów z 30 klas τ00 = 6.197 i σ² = 23.992, więc ICC = .205: około 21% zróżnicowania dobrostanu to różnice między klasami. Obserwacje z jednej klasy nie są więc niezależne. Przy 20 uczniach w klasie efekt schematu, 1 + (20 − 1) × ICC, wynosi 4.9 – próba 600 uczniów niesie tyle informacji co około 122 niezależne obserwacje. Dlatego takie dane analizuje się modelem wielopoziomowym.

Jak opisać ICC w pracy (APA)

Koo i Li (2016) zalecają podawać program, model, typ i definicję ICC oraz 95% przedział ufności. Gdy porównujesz formy albo kilka narzędzi, przyda się tabela:

Tabela 1

Współczynniki korelacji wewnątrzklasowej dla ocen 20 esejów wystawionych przez czterech egzaminatorów

Model i definicjaTypICC95% CI
Jednoczynnikowy losowypojedyncza ocena.69[.50, .84]
Dwuczynnikowy losowy, zgodność bezwzględnapojedyncza ocena.70[.43, .86]
Dwuczynnikowy mieszany, spójnośćpojedyncza ocena.80[.66, .90]
Jednoczynnikowy losowyśrednia z 4 ocen.90[.80, .96]
Dwuczynnikowy losowy, zgodność bezwzględnaśrednia z 4 ocen.90[.75, .96]
Dwuczynnikowy mieszany, spójnośćśrednia z 4 ocen.94[.88, .97]

Uwaga. n = 20 esejów, k = 4 egzaminatorów, skala 0–30 punktów. Formy ICC według McGrawa i Wonga (1996). Różnice między egzaminatorami: F(3, 57) = 15.46, p < .001. Obliczenia: R, pakiet psych.

Zgodność ocen czterech egzaminatorów, którzy niezależnie ocenili 20 esejów (skala 0–30 punktów), oszacowano współczynnikiem korelacji wewnątrzklasowej w modelu dwuczynnikowym losowym dla zgodności bezwzględnej (R, pakiet psych). Rzetelność pojedynczej oceny wyniosła ICC(A,1) = .70, 95% CI [.43, .86], co według kryteriów Koo i Li (2016) oznacza rzetelność od słabej do dobrej. Rzetelność średniej z czterech ocen była wyższa, ICC(A,4) = .90, 95% CI [.75, .96]. Spójność ocen wyniosła ICC(C,1) = .80, 95% CI [.66, .90]; różnica między ICC(C,1) a ICC(A,1) wynikała z systematycznie niższych ocen jednego egzaminatora, F(3, 57) = 15.46, p < .001.

Opis wstaw do rozdziału metodologicznego, a gdy raportujesz rzetelność kilku narzędzi, dołącz ICC do tabeli rzetelności.

Przykład reprodukowalny

Przykład w R

Pierwszy kod liczy wszystkie formy ICC dla ocen czterech egzaminatorów, drugi – ICC z modelu pustego w danych wielopoziomowych. Liczby w tekście, tabeli i na rysunkach pochodzą z tych kodów.

Sześć form ICC dla oceniających (psych)

Dane wejściowe: macierz 20 esejów × 4 egzaminatorów (dane symulowane, set.seed(2036)); każdy wiersz to obiekt, każda kolumna to oceniający.

Co odczytać: ICC2 = ICC(A,1), ICC3 = ICC(C,1), ICC2k = ICC(A,4); kolumny lower bound i upper bound to 95% CI.

R
library(psych)
set.seed(2036)                                      # dane symulowane: 20 esejów, 4 egzaminatorów
jakosc <- rnorm(20, mean = 18, sd = 4)              # prawdziwa jakość eseju (skala 0–30 pkt)
efekt  <- c(A = 0, B = 1, C = -3, D = 0.5)          # egzaminator C ocenia surowiej
oceny  <- sapply(efekt, function(e) pmin(pmax(round(jakosc + e + rnorm(20, 0, 2)), 0), 30))
round(colMeans(oceny), 2)                           # średnia ocen każdego egzaminatora
ICC(oceny)                                          # sześć form ICC z 95% CI
Wynik w R
    A     B     C     D 
17.05 18.15 13.95 17.45 
Call: ICC(x = oceny)

Intraclass correlation coefficients 
                         type  ICC  F df1 df2       p lower bound upper bound
Single_raters_absolute   ICC1 0.69 10  19  60 3.0e-12        0.50        0.84
Single_random_raters     ICC2 0.70 17  19  57 4.9e-17        0.43        0.86
Single_fixed_raters      ICC3 0.80 17  19  57 4.9e-17        0.66        0.90
Average_raters_absolute ICC1k 0.90 10  19  60 3.0e-12        0.80        0.96
Average_random_raters   ICC2k 0.90 17  19  57 4.9e-17        0.75        0.96
Average_fixed_raters    ICC3k 0.94 17  19  57 4.9e-17        0.88        0.97

 Number of subjects = 20     Number of Judges =  4
See the help file for a discussion of the other 4 McGraw and Wong estimates,

ICC z modelu pustego (lme4)

Dane wejściowe: dobrostan 600 uczniów z 30 klas (dane symulowane, set.seed(2043)).

Co odczytać: wariancję między klasami (τ00), wewnątrz klas (σ²), ICC oraz efekt schematu.

R
library(lme4)
set.seed(2043)                                      # dane symulowane: 30 klas po 20 uczniów
klasa <- factor(rep(1:30, each = 20))
efekt_klasy <- rnorm(30, mean = 0, sd = 2.5)        # różnice między klasami
dobrostan <- 50 + efekt_klasy[klasa] + rnorm(600, mean = 0, sd = 5)
m0 <- lmer(dobrostan ~ 1 + (1 | klasa))             # model pusty (bez predyktorów)
vc <- as.data.frame(VarCorr(m0))
tau00 <- vc$vcov[1]; sigma2 <- vc$vcov[2]           # wariancja między klasami i wewnątrz klas
icc <- tau00 / (tau00 + sigma2)
round(c(tau00 = tau00, sigma2 = sigma2, ICC = icc), 3)
deff <- 1 + (20 - 1) * icc                          # efekt schematu przy 20 uczniach w klasie
round(c(efekt_schematu = deff, efektywne_N = 600 / deff), 1)
Wynik w R
 tau00 sigma2    ICC 
 6.197 23.992  0.205 
efekt_schematu    efektywne_N 
           4.9          122.4 

SPSS i JASP. W SPSS wybierz Analiza → Skala → Analiza rzetelności, przenieś kolumny oceniających, a w Statystykach zaznacz współczynnik korelacji wewnątrzklasowej, model i typ (Absolute Agreement lub Consistency); wiersze Single Measures i Average Measures to ICC dla pojedynczej oceny i średniej. W JASP użyj analizy Intraclass Correlation w module Reliability.

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3; rysunki przygotowano w pakiecie ggplot2. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. psych (wersja 2.6.5): Revelle, W. (2026). psych: Procedures for psychological, psychometric, and personality research [R package]. Northwestern University. https://doi.org/10.32614/CRAN.package.psych
  3. lme4 (wersja 2.0.1): Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48. https://doi.org/10.18637/jss.v067.i01
  4. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org

Najczęstsze błędy

  • „ICC = .80” bez formy – sześć form daje dla tych samych danych wyniki od .69 do .94. Podaj model, typ i definicję (Koo i Li, 2016); Hallgren (2012) zauważa, że wiele badań tego nie robi.
  • ICC dla średniej, gdy w praktyce ocenia jedna osoba – zawyża rzetelność rzeczywistej procedury. Typ wybierz według tego, jak narzędzie będzie używane.
  • Spójność tam, gdzie liczą się wartości – gdy ocena decyduje o zaliczeniu albo diagnozie, systematyczna surowość oceniającego jest błędem; użyj zgodności bezwzględnej.
  • Klasyczny ICC(1) mimo błędu systematycznego – Liljequist i in. (2019) uznają go wtedy za mylący; sprawdź, czy ICC(C,1) nie przewyższa wyraźnie ICC(A,1).
  • Sama wartość punktowa przy małej próbie – przy 20 obiektach przedziały są szerokie; interpretuj cały 95% CI.
  • ICC dla kategorii – gdy oceniający przypisują obiekty do kategorii nominalnych, użyj kappy Cohena.

Najczęstsze pytania

Co to jest ICC (współczynnik korelacji wewnątrzklasowej)?

ICC to miara zgodności i rzetelności ocen ilościowych. Mówi, jaka część zmienności ocen wynika z prawdziwych różnic między ocenianymi obiektami (osobami, esejami), a jaka z różnic między oceniającymi i z błędu. Stosuje się go do rzetelności międzysędziowskiej, test–retest i w modelach wielopoziomowych.

Którą formę ICC wybrać?

Odpowiedz na trzy pytania: czy wszyscy oceniający oceniają wszystkie obiekty i czy chcesz uogólniać na innych oceniających (model), czy w praktyce wynik będzie pochodził od jednej osoby, czy ze średniej (typ), oraz czy liczą się same wartości, czy tylko kolejność (definicja). Najczęściej raportuje się ICC(A,1) – model dwuczynnikowy, zgodność bezwzględna, pojedyncza ocena.

Jaka wartość ICC jest dobra?

Według Koo i Li (2016) ICC poniżej .50 oznacza słabą rzetelność, .50–.75 umiarkowaną, .75–.90 dobrą, a powyżej .90 doskonałą. Oceniaj cały 95% przedział ufności: ICC = .70, 95% CI [.43, .86], oznacza rzetelność od słabej do dobrej, a nie „umiarkowaną”.

Czym różni się ICC od korelacji Pearsona?

Korelacja Pearsona mierzy związek dwóch zmiennych i nie zmienia się, gdy jeden oceniający daje systematycznie wyższe oceny. ICC zgodności bezwzględnej traktuje taką systematyczną różnicę jako błąd, a ponadto obejmuje dowolną liczbę oceniających. W przykładzie na tej stronie korelacje egzaminatorów wynosiły .71–.87, a ICC(A,1) tylko .70.

Jak policzyć ICC w SPSS?

Wybierz Analiza → Skala → Analiza rzetelności, przenieś kolumny z ocenami poszczególnych oceniających, a w Statystykach zaznacz współczynnik korelacji wewnątrzklasowej. Ustaw model (np. Two-Way Random) i typ (Absolute Agreement); wiersz Single Measures to ICC dla pojedynczej oceny, a Average Measures – dla średniej.

Co oznacza ICC w modelu wielopoziomowym?

To odsetek wariancji zmiennej zależnej, który przypada na różnice między grupami (np. klasami), liczony z modelu pustego: ICC = τ00 / (τ00 + σ²). ICC = .20 oznacza, że 20% zmienności to różnice między grupami, a obserwacje z jednej grupy nie są niezależne – potrzebny jest model wielopoziomowy.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Hallgren, K. A. (2012). Computing inter-rater reliability for observational data: An overview and tutorial. Tutorials in Quantitative Methods for Psychology, 8(1), 23–34. https://doi.org/10.20982/tqmp.08.1.p023 ● Otwarty dostęp
  2. Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163. https://doi.org/10.1016/j.jcm.2016.02.012 ● Otwarty dostęp
  3. Liljequist, D., Elfving, B., & Skavberg Roaldsen, K. (2019). Intraclass correlation – A discussion and demonstration of basic features. PLOS ONE, 14(7), Article e0219854. https://doi.org/10.1371/journal.pone.0219854 ● Otwarty dostęp
  4. McGraw, K. O., & Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 30–46. https://doi.org/10.1037/1082-989X.1.1.30
  5. Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428. https://doi.org/10.1037/0033-2909.86.2.420
  6. Sommet, N., & Morselli, D. (2017). Keep calm and learn multilevel logistic modeling: A simplified three-step procedure using Stata, R, Mplus, and SPSS. International Review of Social Psychology, 30(1), 203–218. https://doi.org/10.5334/irsp.90 ● Otwarty dostęp

Cytowania BibTeX

@article{hallgren2012computing, author={Hallgren, Kevin A.}, title={{Computing inter-rater reliability for observational data: An overview and tutorial}}, journal={Tutorials in Quantitative Methods for Psychology}, year={2012}, volume={8}, number={1}, pages={23--34}, doi={10.20982/tqmp.08.1.p023}}
@article{koo2016guideline, author={Koo, Terry K. and Li, Mae Y.}, title={{A guideline of selecting and reporting intraclass correlation coefficients for reliability research}}, journal={Journal of Chiropractic Medicine}, year={2016}, volume={15}, number={2}, pages={155--163}, doi={10.1016/j.jcm.2016.02.012}}
@article{liljequist2019intraclass, author={Liljequist, David and Elfving, Britt and Skavberg Roaldsen, Kirsti}, title={{Intraclass correlation – A discussion and demonstration of basic features}}, journal={PLOS ONE}, year={2019}, volume={14}, number={7}, eid={e0219854}, doi={10.1371/journal.pone.0219854}}
@article{mcgraw1996forming, author={McGraw, Kenneth O. and Wong, S. P.}, title={{Forming inferences about some intraclass correlation coefficients}}, journal={Psychological Methods}, year={1996}, volume={1}, number={1}, pages={30--46}, doi={10.1037/1082-989x.1.1.30}}
@article{shrout1979intraclass, author={Shrout, Patrick E. and Fleiss, Joseph L.}, title={{Intraclass correlations: Uses in assessing rater reliability}}, journal={Psychological Bulletin}, year={1979}, volume={86}, number={2}, pages={420--428}, doi={10.1037/0033-2909.86.2.420}}
@article{sommet2017keep, author={Sommet, Nicolas and Morselli, Davide}, title={{Keep calm and learn multilevel logistic modeling: A simplified three-step procedure using Stata, R, Mplus, and SPSS}}, journal={International Review of Social Psychology}, year={2017}, volume={30}, number={1}, pages={203--218}, doi={10.5334/irsp.90}}
R