Co to jest REML i ML?
REML (ang. restricted lub residual maximum likelihood, ograniczona metoda największej wiarygodności) i ML (pełna metoda największej wiarygodności) to dwie metody szacowania liniowych modeli mieszanych. ML szacuje efekty stałe i komponenty wariancji jednocześnie, traktując efekty stałe tak, jakby były znane. REML szacuje wariancje z tej części danych, która nie zależy od efektów stałych, i dzięki temu uwzględnia stopnie swobody zużyte na ich oszacowanie (Harville, 1977).
Czym się różnią w praktyce
- Komponenty wariancji. ML zaniża wariancje efektów losowych, tym bardziej, im mniej grup. McNeish (2017) wyjaśnia, dlaczego ML zawodzi przy małej liczbie grup, i zaleca wtedy REML.
- Efekty stałe. Oszacowania są zwykle prawie identyczne, ale ich błędy standardowe z ML bywają mniejsze, bo zależą od zaniżonych wariancji.
- Porównywanie modeli. Wiarygodność REML zależy od tego, jakie efekty stałe są w modelu. Dlatego test ilorazu wiarygodności oraz AIC i BIC dla modeli o różnych efektach stałych liczy się na ML. Modele różniące się tylko efektami losowymi można porównać na REML.
Przykład
W danych symulowanych 80 uczniów z 10 szkół efekt predyktora poziomu szkoły wyniósł 1.80 w obu metodach, ale jego SE to 1.02 w REML i 0.91 w ML. Wariancja wyrazu wolnego między szkołami wyniosła 4.96 (REML) i 3.54 (ML). W 1000 powtórzeniach z prawdziwą wariancją równą 4 średnie oszacowanie wyniosło 4.17 dla REML i 2.96 dla ML.
Jak opisać w pracy
Na co uważać
- Ustawienie domyślne.
lmer()domyślnie używa REML. Podaj w pracy metodę estymacji modelu końcowego i porównań. - Mała liczba grup. REML poprawia wariancje, ale testy efektów stałych wymagają jeszcze poprawki stopni swobody Kenwarda–Rogera lub Satterthwaite’a.
- GLMM. Funkcja
glmer()nie ma opcji REML; szacuje model przybliżeniem Laplace’a lub kwadraturą, jak pokazuje wpis o wielopoziomowej regresji logistycznej. - Modele wzrostu. Porównując np. liniowy i kwadratowy trend czasu, porównujesz efekty stałe, więc potrzebujesz ML (zob. modele wzrostu w lme4).
Całą sekwencję modeli z porównaniami ML i modelem końcowym REML pokazuje wpis Model wielopoziomowy krok po kroku.
REML a ML w R
Kod dopasowuje ten sam model metodą REML i ML, porównuje efekty stałe i komponenty wariancji, a potem w 1000 powtórzeniach pokazuje obciążenie wariancji między szkołami.
Ten sam model mieszany szacowany metodą REML i ML
R
library(lme4)
set.seed(3101)
sym <- function(J = 10, n_j = 8, tau00 = 4, sigma2 = 16) { # J szkół po n_j uczniów
szkola <- rep(1:J, each = n_j)
z <- rnorm(J) # predyktor poziomu szkoły
x <- rnorm(J * n_j) # predyktor poziomu ucznia
y <- 20 + 1 * x + 2 * z[szkola] + rnorm(J, 0, sqrt(tau00))[szkola] + rnorm(J * n_j, 0, sqrt(sigma2))
data.frame(y, x, z = z[szkola], szkola)
}
d <- sym()
m_reml <- lmer(y ~ x + z + (1 | szkola), data = d) # REML = domyślnie w lme4
m_ml <- lmer(y ~ x + z + (1 | szkola), data = d, REML = FALSE)
wariancje <- function(m) { v <- as.data.frame(VarCorr(m))$vcov; c(tau00 = v[1], sigma2 = v[2]) }
se_z <- function(m) sqrt(vcov(m)["z", "z"]) # błąd standardowy efektu z
round(rbind(REML = c(fixef(m_reml), SE_z = se_z(m_reml), wariancje(m_reml)),
ML = c(fixef(m_ml), SE_z = se_z(m_ml), wariancje(m_ml))), 2)
# 1000 powtórzeń: średnie oszacowanie wariancji między szkołami (prawdziwa = 4)
wyn <- replicate(1000, { d <- sym()
c(REML = wariancje(lmer(y ~ x + z + (1 | szkola), data = d))[["tau00"]],
ML = wariancje(lmer(y ~ x + z + (1 | szkola), data = d, REML = FALSE))[["tau00"]]) })
round(rowMeans(wyn), 2)Wynik w R
(Intercept) x z SE_z tau00 sigma2
REML 18.56 0.64 1.8 1.02 4.96 16.48
ML 18.56 0.65 1.8 0.91 3.54 16.25
REML ML
4.17 2.96Bibliografia oprogramowania
Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcja lmer() pakietu lme4; symulacja trwa kilkanaście sekund). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).
- R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
- lme4 (wersja 2.0.1): Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48. https://doi.org/10.18637/jss.v067.i01
Najczęstsze pytania
Kiedy w lme4 ustawić REML = FALSE?
Gdy porównujesz modele o różnych efektach stałych testem ilorazu wiarygodności, AIC lub BIC. Funkcja anova() dla modeli lme4 robi to automatycznie: przed porównaniem dopasowuje je ponownie metodą ML.
Dlaczego ML zaniża wariancje efektów losowych?
Bo traktuje oszacowane efekty stałe tak, jakby były znane, i nie odlicza zużytych na nie stopni swobody. W symulacji z 10 grupami średnie oszacowanie wariancji wyniosło 2.96 zamiast 4.
Czy REML i ML dają różne współczynniki regresji?
Zwykle prawie takie same. Różnią się komponenty wariancji, a przez nie błędy standardowe efektów stałych: w przykładzie efekt szkoły miał SE = 1.02 w REML i 0.91 w ML.
Powiązane hasła
Poradniki, w których użyjesz tego pojęcia
Model wielopoziomowy krok po kroku w R
Pięć modeli na danych o pracownikach w zespołach: ICC, centrowanie CWC i CGM, losowe nachylenia, interakcja międzypoziomowa, REML a ML i wzór raportu.
Czytaj →PoradnikModele wzrostu w lme4
Losowy wyraz wolny i nachylenie czasu, kodowanie czasu, nieregularne terminy, predyktor × czas, braki MAR, porównanie z LGM i wzór opisu APA.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Wyceń analizęOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- Harville, D. A. (1977). Maximum likelihood approaches to variance component estimation and to related problems. Journal of the American Statistical Association, 72(358), 320–338. https://doi.org/10.1080/01621459.1977.10480998
- McNeish, D. (2017). Small sample methods for multilevel modeling: A colloquial elucidation of REML and the Kenward-Roger correction. Multivariate Behavioral Research, 52(5), 661–670. https://doi.org/10.1080/00273171.2017.1344538
Cytowania BibTeX
@article{harville1977maximum, author={Harville, David A.}, title={{Maximum likelihood approaches to variance component estimation and to related problems}}, journal={Journal of the American Statistical Association}, year={1977}, volume={72}, number={358}, pages={320--338}, doi={10.1080/01621459.1977.10480998}}@article{mcneish2017small, author={McNeish, Daniel}, title={{Small sample methods for multilevel modeling: A colloquial elucidation of REML and the Kenward-Roger correction}}, journal={Multivariate Behavioral Research}, year={2017}, volume={52}, number={5}, pages={661--670}, doi={10.1080/00273171.2017.1344538}}