Słownik metodologiczny · Psychometria

Rzetelność wielopoziomowa – jak ocenić skalę w danych zagnieżdżonych?

Rzetelność wielopoziomowa to rzetelność skali liczona osobno wewnątrz grup i między nimi. Pokazujemy omegę z dwupoziomowej CFA, rzetelność obserwowanej średniej zespołu, przykład w R i opis do pracy.

Strona główna / Słownik / Rzetelność wielopoziomowa
W skrócie: Rzetelność wielopoziomowa to rzetelność skali liczona osobno dla różnic między osobami w grupie i dla różnic między grupami. Jednopoziomowa omega nie opisuje żadnego z poziomów, a omega międzygrupowa może być wysoka, choć obserwowane średnie grup są mało rzetelne.

Co to jest rzetelność wielopoziomowa?

Rzetelność wielopoziomowa (ang. multilevel reliability) to rzetelność wyniku skali oszacowana osobno na każdym poziomie danych zagnieżdżonych, np. pracowników w zespołach. Wariancja odpowiedzi dzieli się na część wewnątrz zespołów i między nimi, a skala może mierzyć różnice między osobami z inną precyzją niż różnice między zespołami. Geldhof, Preacher i Zyphur (2014) pokazali, że jednopoziomowa alfa czy omega odpowiada rzeczywistej rzetelności tylko wtedy, gdy na obu poziomach jest ona taka sama.

Jak ją liczyć

W dwupoziomowej CFA (lavaan, argument cluster) dopasowuje się model czynnikowy wewnątrz i między grupami. Z ładunków i wariancji resztowych każdego poziomu liczy się omegę: ωw i ωb. W badaniu Geldhofa i in. (2014) dwupoziomowe alfa i omega sprawdzały się dobrze, maksymalna rzetelność H była bardziej obciążona, a małe grupy zawyżały rzetelność międzygrupową.

Lai (2021) zauważył, że ωb dotyczy latentnej średniej grupy, a nie obserwowanej średniej, którą zwykle wpisuje się do analiz. Dla konstruktu wspólnego, np. klimatu zespołu, zaproponował wskaźnik, w którym różnice ocen osób w zespole też są błędem. W R liczy go semTools::compRelSEM() z argumentem shared.

Przykład

W danych symulowanych 960 pracowników ze 120 zespołów (po 8 osób) oceniało klimat zespołu czterema pozycjami; ICC pozycji wynosiło .12–.17. Omega wewnątrzgrupowa wyniosła ωw = .813, a międzygrupowa ωb = .905. Rzetelność obserwowanej średniej zespołu była jednak tylko .553, a jednopoziomowa omega (.828) nie opisywała żadnego z poziomów.

Jak opisać w pracy

Rzetelność skali klimatu oszacowano w dwupoziomowej CFA (lavaan). Omega na poziomie pracowników wyniosła ω_w = .813, 95% CI [.793, .834], a na poziomie zespołów ω_b = .905, 95% CI [.854, .956]. Rzetelność obserwowanej średniej zespołu (Lai, 2021) wyniosła .553, 95% CI [.433, .674].

Na co uważać

  • Rzetelność dla poziomu analizy. Gdy analizujesz średnie zespołów, podaj rzetelność tych średnich, a nie jedną omegę dla całej próby.
  • Liczba osób w grupie. Rzetelność średniej rośnie z liczbą osób i ICC; przy małych zespołach agregacja daje mało precyzyjne wyniki.
  • Struktura na obu poziomach. Omega ma sens dopiero przy dobrze dopasowanym modelu czynnikowym na każdym poziomie. Ładunki i izomorfizm czynników omawia wpis o wielopoziomowej analizie czynnikowej (MCFA).
Przykład reprodukowalny

Rzetelność wielopoziomowa w R

Kod dopasowuje dwupoziomową CFA w lavaan, liczy omegę na obu poziomach i rzetelność obserwowanej średniej zespołu jako parametry zdefiniowane (przedziały ufności metodą delta), a na końcu jednopoziomową omegę dla porównania.

Omega wewnątrz- i międzygrupowa oraz rzetelność średniej zespołu

Dane wejściowe: cztery pozycje skali klimatu zespołu u 960 pracowników ze 120 zespołów po 8 osób (dane symulowane, set.seed(3131)).

Co odczytać: omega_w, omega_b i rel_srednia z 95% CI, a niżej omegę z modelu jednopoziomowego, który ignoruje zespoły.

R
library(lavaan)
set.seed(3131)
J <- 120; n_j <- 8                                    # 120 zespołów po 8 pracowników (dane symulowane)
zespol <- rep(1:J, each = n_j)
f_w <- rnorm(J * n_j)                                 # klimat postrzegany przez osobę (wewnątrz)
f_b <- rnorm(J, 0, 0.5)[zespol]                       # wspólny klimat zespołu (między)
lam_w <- c(0.8, 0.7, 0.7, 0.6); lam_b <- c(0.8, 0.7, 0.7, 0.6)
poz <- sapply(1:4, function(i) lam_w[i] * f_w + lam_b[i] * f_b +
                rnorm(J, 0, 0.15)[zespol] + rnorm(J * n_j, 0, 0.7))
colnames(poz) <- paste0("k", 1:4)
d <- data.frame(poz, zespol)
model <- '
level: 1
  Fw =~ a1*k1 + a2*k2 + a3*k3 + a4*k4
  k1 ~~ e1*k1; k2 ~~ e2*k2; k3 ~~ e3*k3; k4 ~~ e4*k4
level: 2
  Fb =~ b1*k1 + b2*k2 + b3*k3 + b4*k4
  k1 ~~ d1*k1; k2 ~~ d2*k2; k3 ~~ d3*k3; k4 ~~ d4*k4
  omega_w := (a1+a2+a3+a4)^2 / ((a1+a2+a3+a4)^2 + e1+e2+e3+e4)
  omega_b := (b1+b2+b3+b4)^2 / ((b1+b2+b3+b4)^2 + d1+d2+d3+d4)
  rel_srednia := (b1+b2+b3+b4)^2 / ((b1+b2+b3+b4)^2 + d1+d2+d3+d4 +
                 ((a1+a2+a3+a4)^2 + e1+e2+e3+e4) / 8)   # obserwowana średnia zespołu (8 osób)
'
fit <- cfa(model, data = d, cluster = "zespol", std.lv = TRUE)
pe <- parameterEstimates(fit)
rel <- pe[pe$label %in% c("omega_w", "omega_b", "rel_srednia"), c("label", "est", "ci.lower", "ci.upper")]
rel[, -1] <- round(rel[, -1], 3); print(rel, row.names = FALSE)
omega_1 <- function(x) { f <- cfa('F =~ k1 + k2 + k3 + k4', data = x, std.lv = TRUE)
  l <- inspect(f, "est")$lambda; th <- diag(inspect(f, "est")$theta)
  sum(l)^2 / (sum(l)^2 + sum(th)) }
round(c(omega_jednopoziomowa = omega_1(d)), 3)       # ignoruje zagnieżdżenie
Wynik w R
       label   est ci.lower ci.upper
     omega_w 0.813    0.793    0.834
     omega_b 0.905    0.854    0.956
 rel_srednia 0.553    0.433    0.674
omega_jednopoziomowa 
               0.828

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcja cfa() pakietu lavaan; w części kontrolnej skryptu wyniki sprawdzono funkcją compRelSEM() pakietu semTools). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. lavaan (wersja 0.7-2): Rosseel, Y. (2012). lavaan: An R package for structural equation modeling. Journal of Statistical Software, 48(2), 1–36. https://doi.org/10.18637/jss.v048.i02
  3. semTools (wersja 0.5-8): Jorgensen, T. D., Pornprasertmanit, S., Schoemann, A. M., & Rosseel, Y. (2026). semTools: Useful tools for structural equation modeling (R package version 0.5-8) [Computer software]. https://CRAN.R-project.org/package=semTools

Najczęstsze pytania

Dlaczego jedna omega nie wystarcza przy danych zagnieżdżonych?

Bo miesza wariancję wewnątrz i między grupami. Geldhof i in. (2014) pokazali, że jednopoziomowa rzetelność odpowiada rzeczywistej tylko wtedy, gdy na obu poziomach jest taka sama.

Jak policzyć rzetelność na poziomie zespołów w R?

Dopasuj dwupoziomową CFA w lavaan z argumentem cluster i policz omegę z ładunków poziomu 2 albo funkcją semTools::compRelSEM(). Dla obserwowanych średnich zespołów dodaj argument shared.

Czy wysoka omega międzygrupowa oznacza rzetelne średnie zespołów?

Nie zawsze. W przykładzie ωb = .905, a rzetelność obserwowanej średniej z 8 osób tylko .553, bo różnice ocen w zespole też są błędem (Lai, 2021).

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Geldhof, G. J., Preacher, K. J., & Zyphur, M. J. (2014). Reliability estimation in a multilevel confirmatory factor analysis framework. Psychological Methods, 19(1), 72–91. https://doi.org/10.1037/a0032138
  2. Lai, M. H. C. (2021). Composite reliability of multilevel data: It’s about observed scores and construct meanings. Psychological Methods, 26(1), 90–102. https://doi.org/10.1037/met0000287

Cytowania BibTeX

@article{geldhof2014reliability, author={Geldhof, G. John and Preacher, Kristopher J. and Zyphur, Michael J.}, title={{Reliability estimation in a multilevel confirmatory factor analysis framework}}, journal={Psychological Methods}, year={2014}, volume={19}, number={1}, pages={72--91}, doi={10.1037/a0032138}}
@article{lai2021composite, author={Lai, Mark H. C.}, title={{Composite reliability of multilevel data: It’s about observed scores and construct meanings}}, journal={Psychological Methods}, year={2021}, volume={26}, number={1}, pages={90--102}, doi={10.1037/met0000287}}
R