Estymator M – jak dopasować regresję, której nie przeciągają obserwacje odstające?

Opracowanie merytoryczne: Konrad Hryniewicz · Opublikowano: 29 października 2026

Co to jest estymator M?

Estymator M (ang. M-estimator) w regresji odpornej minimalizuje nie sumę kwadratów reszt, lecz sumę funkcji ρ, która dla dużych reszt rośnie wolniej niż kwadrat. Dzięki temu pojedyncza obserwacja odstająca nie przeciąga linii regresji. Pomysł pochodzi od Hubera (1964), który szukał estymatorów położenia pośrednich między średnią a medianą, odpornych na domieszkę grubych błędów. Zwykła regresja liniowa (OLS) jest szczególnym przypadkiem z ρ(e) = e².

Funkcje Hubera i Tukeya, czyli wagi

W praktyce estymator M liczy się iteracyjnie ważoną metodą najmniejszych kwadratów: obserwacje z dużą resztą standaryzowaną dostają wagę mniejszą niż 1. Funkcja Hubera (stała 1.345) zostawia małym resztom wagę 1, a dużym ją obniża, ale nigdy do zera. Funkcja bisquare Tukeya (stała 4.685) jest opadająca: skrajne reszty dostają wagę 0. Obie stałe dają około 95% efektywności OLS przy normalnych błędach. Słabość estymatora M to punkty o dużej dźwigni: odstające w predyktorze potrafią go zepsuć. Estymator MM (Yohai, 1987) łączy punkt załamania 0.5 z wysoką efektywnością, a przegląd metod podają Yu i Yao (2017).

Przykład

W symulowanych danych (n = 60) wynik testu rósł z godzinami nauki. U pięciu osób z najdłuższą nauką wpisano wynik o 35 punktów za niski. Bez tych wierszy nachylenie wynosiło 2.30 pkt na godzinę. OLS na pełnych danych dał 0.87 (SE = 0.43), estymator Hubera 1.66 (SE = 0.32), a bisquare 2.35 (SE = 0.26), tyle samo co MM. Wagi Hubera dla błędnych wierszy wyniosły 0.24–0.38, a bisquare – 0.

Jak opisać w pracy

Na co uważać

• To nie HC3. Odporne błędy standardowe poprawiają SE przy heteroskedastyczności, ale współczynniki zostają z OLS; estymator M zmienia same współczynniki.
• Wagi to diagnoza. Obejrzyj obserwacje z wagą bliską 0 i porównaj je z odległością Cooka.
• Zła specyfikacja. Gdy „odstające” tworzą wzór, np. krzywiznę, problemem jest model, nie dane.

Pełne porównanie metod pokazuje wpis Regresja odporna – estymatory M i MM, a decyzję o usuwaniu wierszy omawia Czy można usunąć obserwacje odstające?.

suppressPackageStartupMessages({library(MASS); library(robustbase)})
set.seed(3742)
n <- 60
godziny <- runif(n, 0, 10)                       # godziny nauki
wynik   <- 50 + 3 * godziny + rnorm(n, sd = 5)   # prawdziwe nachylenie: 3 pkt/h
odst <- order(godziny, decreasing = TRUE)[1:5]  # 5 osób z najdłuższą nauką...
wynik[odst] <- wynik[odst] - 35                  # ...z błędnie wprowadzonym wynikiem (odstające w y)
dane <- data.frame(godziny, wynik)
czyste <- lm(wynik ~ godziny, data = dane[-odst, ])   # punkt odniesienia: bez błędnych wierszy

ols    <- lm(wynik ~ godziny, data = dane)
huber  <- rlm(wynik ~ godziny, data = dane)                     # estymator M Hubera (k = 1.345)
tukey  <- rlm(wynik ~ godziny, data = dane, psi = psi.bisquare)  # bisquare Tukeya (c = 4.685)
mm     <- lmrob(wynik ~ godziny, data = dane)                    # estymator MM
round(rbind(bez_bledow = coef(czyste), OLS = coef(ols), Huber = coef(huber),
            Tukey = coef(tukey), MM = coef(mm)), 2)
round(rbind(OLS = coef(summary(ols))[2, 1:2], Huber = coef(summary(huber))[2, 1:2],
            Tukey = coef(summary(tukey))[2, 1:2]), 3)
round(huber$w[odst], 2)                           # wagi Hubera dla 5 odstających
round(tukey$w[odst], 2)                           # wagi bisquare dla 5 odstających
round(c(huber_min_reszta = min(huber$w[-odst]), tukey_min_reszta = min(tukey$w[-odst]),
        skala_huber = huber$s), 2)

           (Intercept) godziny
bez_bledow       53.14    2.30
OLS              57.78    0.87
Huber            55.14    1.66
Tukey            52.76    2.35
MM               52.78    2.35
      Estimate Std. Error
OLS      0.875      0.425
Huber    1.660      0.322
Tukey    2.355      0.262
[1] 0.38 0.31 0.24 0.35 0.29
[1] 0 0 0 0 0
huber_min_reszta tukey_min_reszta      skala_huber
            0.60             0.64             5.90

Najczęstsze pytania

Którą funkcję wybrać: Hubera czy bisquare Tukeya?

Huber jest bezpieczniejszy obliczeniowo i ma jedno rozwiązanie, ale dużym resztom zostawia część wagi. Bisquare całkowicie odrzuca skrajne reszty, lecz wymaga dobrego punktu startowego – dlatego w estymatorze MM startuje z odpornego oszacowania (Yohai, 1987).

Czy estymator M chroni przed punktami o dużej dźwigni?

Nie w pełni. Waży obserwacje według reszt, a punkt odstający w predyktorze może przyciągnąć linię tak, że jego reszta jest mała. Na takie punkty używa się estymatora MM (robustbase::lmrob) i diagnostyki dźwigni.

Jak policzyć estymator M w R?

MASS::rlm(y ~ x, data = dane) daje estymator Hubera, a z psi = psi.bisquare – Tukeya. Wagi odczytasz z model$w, a skalę reszt z model$s. Estymator MM liczy robustbase::lmrob().

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

@article{huber1964robust, author={Huber, Peter J.}, title={{Robust estimation of a location parameter}}, journal={The Annals of Mathematical Statistics}, year={1964}, volume={35}, number={1}, pages={73--101}, doi={10.1214/aoms/1177703732}}

@article{yohai1987high, author={Yohai, Victor J.}, title={{High breakdown-point and high efficiency robust estimates for regression}}, journal={The Annals of Statistics}, year={1987}, volume={15}, number={2}, pages={642--656}, doi={10.1214/aos/1176350366}}

@article{yu2017robust, author={Yu, Chun and Yao, Weixin}, title={{Robust linear regression: A review and comparison}}, journal={Communications in Statistics – Simulation and Computation}, year={2017}, volume={46}, number={8}, pages={6261--6282}, doi={10.1080/03610918.2016.1202271}}