Słownik metodologiczny · Modele regresji

REML a ML – którą metodą szacować model wielopoziomowy?

REML i ML to dwie metody szacowania modeli mieszanych. Pokazujemy, czym się różnią, dlaczego ML zaniża wariancje przy małej liczbie grup, kiedy porównywać modele na ML i przykład w R.

W skrócie: REML szacuje komponenty wariancji, uwzględniając stopnie swobody zużyte na efekty stałe, więc przy małej liczbie grup jest mniej obciążona niż ML. Model końcowy raportuj z REML, a modele o różnych efektach stałych porównuj na dopasowaniach ML.

Co to jest REML i ML?

REML (ang. restricted lub residual maximum likelihood, ograniczona metoda największej wiarygodności) i ML (pełna metoda największej wiarygodności) to dwie metody szacowania liniowych modeli mieszanych. ML szacuje efekty stałe i komponenty wariancji jednocześnie, traktując efekty stałe tak, jakby były znane. REML szacuje wariancje z tej części danych, która nie zależy od efektów stałych, i dzięki temu uwzględnia stopnie swobody zużyte na ich oszacowanie (Harville, 1977).

Czym się różnią w praktyce

  • Komponenty wariancji. ML zaniża wariancje efektów losowych, tym bardziej, im mniej grup. McNeish (2017) wyjaśnia, dlaczego ML zawodzi przy małej liczbie grup, i zaleca wtedy REML.
  • Efekty stałe. Oszacowania są zwykle prawie identyczne, ale ich błędy standardowe z ML bywają mniejsze, bo zależą od zaniżonych wariancji.
  • Porównywanie modeli. Wiarygodność REML zależy od tego, jakie efekty stałe są w modelu. Dlatego test ilorazu wiarygodności oraz AIC i BIC dla modeli o różnych efektach stałych liczy się na ML. Modele różniące się tylko efektami losowymi można porównać na REML.

Przykład

W danych symulowanych 80 uczniów z 10 szkół efekt predyktora poziomu szkoły wyniósł 1.80 w obu metodach, ale jego SE to 1.02 w REML i 0.91 w ML. Wariancja wyrazu wolnego między szkołami wyniosła 4.96 (REML) i 3.54 (ML). W 1000 powtórzeniach z prawdziwą wariancją równą 4 średnie oszacowanie wyniosło 4.17 dla REML i 2.96 dla ML.

Jak opisać w pracy

Model końcowy oszacowano metodą REML (pakiet lme4), a modele różniące się efektami stałymi porównano testem ilorazu wiarygodności na dopasowaniach ML. Wariancja wyrazu wolnego między szkołami wyniosła τ00 = 4.96, a wariancja reszt σ² = 16.48.

Na co uważać

  • Ustawienie domyślne. lmer() domyślnie używa REML. Podaj w pracy metodę estymacji modelu końcowego i porównań.
  • Mała liczba grup. REML poprawia wariancje, ale testy efektów stałych wymagają jeszcze poprawki stopni swobody Kenwarda–Rogera lub Satterthwaite’a.
  • GLMM. Funkcja glmer() nie ma opcji REML; szacuje model przybliżeniem Laplace’a lub kwadraturą, jak pokazuje wpis o wielopoziomowej regresji logistycznej.
  • Modele wzrostu. Porównując np. liniowy i kwadratowy trend czasu, porównujesz efekty stałe, więc potrzebujesz ML (zob. modele wzrostu w lme4).

Całą sekwencję modeli z porównaniami ML i modelem końcowym REML pokazuje wpis Model wielopoziomowy krok po kroku.

Przykład reprodukowalny

REML a ML w R

Kod dopasowuje ten sam model metodą REML i ML, porównuje efekty stałe i komponenty wariancji, a potem w 1000 powtórzeniach pokazuje obciążenie wariancji między szkołami.

Ten sam model mieszany szacowany metodą REML i ML

Dane wejściowe: wynik 80 uczniów z 10 szkół po 8 osób, predyktor poziomu ucznia x i szkoły z; prawdziwe τ00 = 4, σ² = 16 (dane symulowane, set.seed(3101)).

Co odczytać: efekty stałe i SE efektu z w obu metodach, tau00 i sigma2, a w ostatnim wierszu średnie oszacowanie τ00 z 1000 powtórzeń.

R
library(lme4)
set.seed(3101)
sym <- function(J = 10, n_j = 8, tau00 = 4, sigma2 = 16) {   # J szkół po n_j uczniów
  szkola <- rep(1:J, each = n_j)
  z  <- rnorm(J)                                           # predyktor poziomu szkoły
  x  <- rnorm(J * n_j)                                     # predyktor poziomu ucznia
  y  <- 20 + 1 * x + 2 * z[szkola] + rnorm(J, 0, sqrt(tau00))[szkola] + rnorm(J * n_j, 0, sqrt(sigma2))
  data.frame(y, x, z = z[szkola], szkola)
}
d <- sym()
m_reml <- lmer(y ~ x + z + (1 | szkola), data = d)               # REML = domyślnie w lme4
m_ml   <- lmer(y ~ x + z + (1 | szkola), data = d, REML = FALSE)
wariancje <- function(m) { v <- as.data.frame(VarCorr(m))$vcov; c(tau00 = v[1], sigma2 = v[2]) }
se_z <- function(m) sqrt(vcov(m)["z", "z"])                       # błąd standardowy efektu z
round(rbind(REML = c(fixef(m_reml), SE_z = se_z(m_reml), wariancje(m_reml)),
            ML   = c(fixef(m_ml),   SE_z = se_z(m_ml),   wariancje(m_ml))), 2)
# 1000 powtórzeń: średnie oszacowanie wariancji między szkołami (prawdziwa = 4)
wyn <- replicate(1000, { d <- sym()
  c(REML = wariancje(lmer(y ~ x + z + (1 | szkola), data = d))[["tau00"]],
    ML   = wariancje(lmer(y ~ x + z + (1 | szkola), data = d, REML = FALSE))[["tau00"]]) })
round(rowMeans(wyn), 2)
Wynik w R
     (Intercept)    x   z SE_z tau00 sigma2
REML       18.56 0.64 1.8 1.02  4.96  16.48
ML         18.56 0.65 1.8 0.91  3.54  16.25
REML   ML 
4.17 2.96

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcja lmer() pakietu lme4; symulacja trwa kilkanaście sekund). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. lme4 (wersja 2.0.1): Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48. https://doi.org/10.18637/jss.v067.i01

Najczęstsze pytania

Kiedy w lme4 ustawić REML = FALSE?

Gdy porównujesz modele o różnych efektach stałych testem ilorazu wiarygodności, AIC lub BIC. Funkcja anova() dla modeli lme4 robi to automatycznie: przed porównaniem dopasowuje je ponownie metodą ML.

Dlaczego ML zaniża wariancje efektów losowych?

Bo traktuje oszacowane efekty stałe tak, jakby były znane, i nie odlicza zużytych na nie stopni swobody. W symulacji z 10 grupami średnie oszacowanie wariancji wyniosło 2.96 zamiast 4.

Czy REML i ML dają różne współczynniki regresji?

Zwykle prawie takie same. Różnią się komponenty wariancji, a przez nie błędy standardowe efektów stałych: w przykładzie efekt szkoły miał SE = 1.02 w REML i 0.91 w ML.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Harville, D. A. (1977). Maximum likelihood approaches to variance component estimation and to related problems. Journal of the American Statistical Association, 72(358), 320–338. https://doi.org/10.1080/01621459.1977.10480998
  2. McNeish, D. (2017). Small sample methods for multilevel modeling: A colloquial elucidation of REML and the Kenward-Roger correction. Multivariate Behavioral Research, 52(5), 661–670. https://doi.org/10.1080/00273171.2017.1344538

Cytowania BibTeX

@article{harville1977maximum, author={Harville, David A.}, title={{Maximum likelihood approaches to variance component estimation and to related problems}}, journal={Journal of the American Statistical Association}, year={1977}, volume={72}, number={358}, pages={320--338}, doi={10.1080/01621459.1977.10480998}}
@article{mcneish2017small, author={McNeish, Daniel}, title={{Small sample methods for multilevel modeling: A colloquial elucidation of REML and the Kenward-Roger correction}}, journal={Multivariate Behavioral Research}, year={2017}, volume={52}, number={5}, pages={661--670}, doi={10.1080/00273171.2017.1344538}}
R