Słownik metodologiczny · Modele regresji

Estymator M – jak dopasować regresję, której nie przeciągają obserwacje odstające?

Estymator M w regresji odpornej obniża wagę obserwacji z dużymi resztami, zamiast je usuwać. Pokazujemy funkcje Hubera i Tukeya, różnicę wobec HC3 i MM, przykład w R oraz opis do pracy.

Strona główna / Słownik / Estymator M
W skrócie: Estymator M to sposób dopasowania regresji, w którym duże reszty liczą się słabiej niż w metodzie najmniejszych kwadratów. Obserwacje odstające w zmiennej zależnej dostają mniejsze wagi (Huber) lub wagę 0 (bisquare Tukeya), więc nie przeciągają linii. Na punkty o dużej dźwigni lepszy jest estymator MM.

Co to jest estymator M?

Estymator M (ang. M-estimator) w regresji odpornej minimalizuje nie sumę kwadratów reszt, lecz sumę funkcji ρ, która dla dużych reszt rośnie wolniej niż kwadrat. Dzięki temu pojedyncza obserwacja odstająca nie przeciąga linii regresji. Pomysł pochodzi od Hubera (1964), który szukał estymatorów położenia pośrednich między średnią a medianą, odpornych na domieszkę grubych błędów. Zwykła regresja liniowa (OLS) jest szczególnym przypadkiem z ρ(e) = e².

Funkcje Hubera i Tukeya, czyli wagi

W praktyce estymator M liczy się iteracyjnie ważoną metodą najmniejszych kwadratów: obserwacje z dużą resztą standaryzowaną dostają wagę mniejszą niż 1. Funkcja Hubera (stała 1.345) zostawia małym resztom wagę 1, a dużym ją obniża, ale nigdy do zera. Funkcja bisquare Tukeya (stała 4.685) jest opadająca: skrajne reszty dostają wagę 0. Obie stałe dają około 95% efektywności OLS przy normalnych błędach. Słabość estymatora M to punkty o dużej dźwigni: odstające w predyktorze potrafią go zepsuć. Estymator MM (Yohai, 1987) łączy punkt załamania 0.5 z wysoką efektywnością, a przegląd metod podają Yu i Yao (2017).

Przykład

W symulowanych danych (n = 60) wynik testu rósł z godzinami nauki. U pięciu osób z najdłuższą nauką wpisano wynik o 35 punktów za niski. Bez tych wierszy nachylenie wynosiło 2.30 pkt na godzinę. OLS na pełnych danych dał 0.87 (SE = 0.43), estymator Hubera 1.66 (SE = 0.32), a bisquare 2.35 (SE = 0.26), tyle samo co MM. Wagi Hubera dla błędnych wierszy wyniosły 0.24–0.38, a bisquare – 0.

Na rysunku

Dwa panele. A: wykres rozrzutu wyniku testu względem godzin nauki dla 60 osób; 55 szarych kółek układa się rosnąco, a pięć trójkątów przy 9–10 godzinach leży nisko, przy 38–50 punktach. Trzy proste: kropkowana OLS prawie płaska (nachylenie 0.87), przerywana Huber pośrodku (1.66) i ciągła bisquare najbardziej stroma (2.35), zgodna z chmurą kółek. B: funkcje wag względem reszty standaryzowanej od −8 do 8; OLS to pozioma linia na wysokości 1, Huber ma płaski szczyt 1 między −1.345 a 1.345 i potem łagodnie opada, ale nie do zera, bisquare to dzwon spadający do 0 przy ±4.685. Punkty pokazują wagi obserwacji: pięć błędnych wyników leży przy resztach od −3.6 do −6.6, z wagami Hubera do 0.38 i wagami bisquare równymi 0.
Rysunek 1. Proste regresji OLS oraz estymatorów M Hubera i bisquare Tukeya dla danych z pięcioma błędnymi wynikami (A) i funkcje wag obu estymatorów M z wagami obserwacji z dopasowanych modeli (B). Obliczenia: R, pakiety MASS, ggplot2 i patchwork (dane z przykładu, set.seed(3742)).

Co widać. Panel A to dane z przykładu. Pięć trójkątów to osoby z najdłuższą nauką, którym wpisano wynik o 35 punktów za niski. OLS próbuje dopasować się także do nich, więc prosta się spłaszcza (nachylenie 0.87). Huber zmniejsza ich wpływ tylko częściowo (1.66), a bisquare prawie go usuwa (2.35) i prowadzi prostą przez chmurę pozostałych osób. Panel B wyjaśnia różnicę. OLS daje każdej obserwacji wagę 1, niezależnie od reszty. Huber zostawia wagę 1 dla reszt do ±1.345 (tu 47 z 60 osób), a dalej obniża ją łagodnie, więc błędne wiersze z resztami od −3.57 do −5.51 dostają jeszcze wagę do 0.38. Bisquare spada do zera przy ±4.685 skali, a błędne wiersze (reszty od −4.59 do −6.62) mają wagę 0 po zaokrągleniu.

Na co uważać. Reszta standaryzowana na osi poziomej to reszta podzielona przez odporną skalę z tego samego modelu. Wagi powstają więc razem z dopasowaniem i przy innym punkcie startowym bisquare mógłby znaleźć inne rozwiązanie. Dlatego w praktyce startuje się od estymatora odpornego, jak w estymatorze MM. Bisquare obniża też wagi zwykłym obserwacjom (tu 17 osób ma wagę poniżej 0.9) – to koszt odporności. Wykres pokazuje odstające w y. Gdyby te same osoby miały nietypowe godziny nauki (dużą dźwignię), estymator M mógłby zawieść, bo duża dźwignia „przyciąga” prostą i zmniejsza własną resztę. Porównanie z estymatorem MM i więcej scenariuszy daje wpis Regresja odporna – estymatory M i MM.

Podpis do pracy:

Rysunek 1. Wynik testu względem liczby godzin nauki z prostymi regresji OLS oraz odpornych estymatorów M (Hubera i bisquare Tukeya) (A) i wagi obserwacji w estymatorach M względem standaryzowanej reszty (B). Uwaga. Trójkątami oznaczono pięć obserwacji z błędnie wprowadzonym wynikiem; stałe dostrajające: 1.345 (Huber) i 4.685 (bisquare); n = 60.

Kod rysunku ma jedno ziarno (set.seed(3742), to samo co w przykładzie, niezmieniane). Ręcznie ustalono, jak w przykładzie, pięć błędnych wierszy z wynikiem obniżonym o 35 punktów. Rysunek na stronie powstał z tego samego obiektu p1 z motywem serwisu (krój, siatka); dane, geometrie i skale są identyczne.

Kod R rysunku
# Rysunek 1. OLS, Huber i bisquare na danych z pięcioma błędnymi wynikami oraz funkcje wag obu estymatorów M
suppressPackageStartupMessages({library(ggplot2); library(patchwork); library(MASS)})
kol <- c(OLS = "#D55E00", Huber = "#CC79A7", bisquare = "#0072B2")   # Okabe–Ito
lin <- c(OLS = "dotted", Huber = "dashed", bisquare = "solid")
motyw <- theme_minimal(base_size = 13) + theme(panel.grid.minor = element_blank(), legend.position = "bottom")
set.seed(3742)                                         # te same dane co w przykładzie
n <- 60
godziny <- runif(n, 0, 10)
wynik   <- 50 + 3 * godziny + rnorm(n, sd = 5)
odst <- order(godziny, decreasing = TRUE)[1:5]
wynik[odst] <- wynik[odst] - 35                        # 5 błędnie wprowadzonych wyników
dane <- data.frame(godziny, wynik, typ = ifelse(seq_len(n) %in% odst, "błędny wynik", "pozostałe"))
modele <- list(OLS = lm(wynik ~ godziny, data = dane),
               Huber = rlm(wynik ~ godziny, data = dane),                        # k = 1.345
               bisquare = rlm(wynik ~ godziny, data = dane, psi = psi.bisquare)) # c = 4.685
proste <- data.frame(model = factor(names(modele), levels = names(kol)),
                     a = sapply(modele, function(m) coef(m)[[1]]), b = sapply(modele, function(m) coef(m)[[2]]))
pA <- ggplot(dane, aes(godziny, wynik)) +
  geom_point(aes(shape = typ), colour = "grey35", size = 2.2) +
  geom_abline(data = proste, aes(intercept = a, slope = b, colour = model, linetype = model), linewidth = 1) +
  scale_shape_manual(values = c("pozostałe" = 16, "błędny wynik" = 17), name = NULL) +
  scale_colour_manual(values = kol, name = NULL) + scale_linetype_manual(values = lin, name = NULL) +
  labs(title = "A. Trzy proste na tych samych danych", x = "Godziny nauki", y = "Wynik testu (pkt)")
u <- seq(-8, 8, by = 0.02)                             # reszta standaryzowana (reszta / skala)
wagi <- rbind(data.frame(u, w = 1, model = "OLS"),
              data.frame(u, w = pmin(1, 1.345 / abs(u)), model = "Huber"),
              data.frame(u, w = ifelse(abs(u) <= 4.685, (1 - (u / 4.685)^2)^2, 0), model = "bisquare"))
wagi$model <- factor(wagi$model, levels = names(kol))
obs <- rbind(data.frame(u = resid(modele$Huber) / modele$Huber$s, w = modele$Huber$w, model = "Huber"),
             data.frame(u = resid(modele$bisquare) / modele$bisquare$s, w = modele$bisquare$w, model = "bisquare"))
obs$model <- factor(obs$model, levels = names(kol))
pB <- ggplot(wagi, aes(u, w, colour = model, linetype = model)) +
  geom_line(linewidth = 1) +
  geom_point(data = obs, aes(shape = model), size = 1.8, alpha = 0.8, show.legend = FALSE) +
  scale_colour_manual(values = kol, name = NULL) + scale_linetype_manual(values = lin, name = NULL) +
  scale_shape_manual(values = c(Huber = 17, bisquare = 16)) +
  scale_x_continuous(breaks = seq(-8, 8, 2)) +
  labs(title = "B. Waga obserwacji a jej reszta", x = "Reszta standaryzowana", y = "Waga")
p1 <- (pA + pB + plot_layout(guides = "collect")) & motyw
round(proste[, c("a", "b")], 2)
round(sapply(split(obs, obs$model, drop = TRUE), function(d) range(d$u[odst])), 2)[, c("Huber", "bisquare")]  # reszty błędnych
round(c(huber_odst_max = max(modele$Huber$w[odst]), bisquare_odst_max = max(modele$bisquare$w[odst]),
        huber_waga_1 = sum(modele$Huber$w > 0.999), bisquare_ponizej_0.9 = sum(modele$bisquare$w < 0.9)), 2)
p1
Wynik w R
             a    b
OLS      57.78 0.87
Huber    55.14 1.66
bisquare 52.76 2.35
     Huber bisquare
[1,] -5.51    -6.62
[2,] -3.57    -4.59
      huber_odst_max    bisquare_odst_max         huber_waga_1 
                0.38                 0.00                47.00 
bisquare_ponizej_0.9 
               17.00 

Jak opisać w pracy

Ze względu na obserwacje odstające w zmiennej zależnej zastosowano regresję odporną z estymatorem M (funkcja bisquare Tukeya, MASS::rlm). Każda godzina nauki wiązała się z wynikiem wyższym o 2.35 pkt (SE = 0.26); w OLS nachylenie wyniosło 0.87 (SE = 0.43). Pięć obserwacji otrzymało wagę 0.

Na co uważać

  • To nie HC3. Odporne błędy standardowe poprawiają SE przy heteroskedastyczności, ale współczynniki zostają z OLS; estymator M zmienia same współczynniki.
  • Wagi to diagnoza. Obejrzyj obserwacje z wagą bliską 0 i porównaj je z odległością Cooka.
  • Zła specyfikacja. Gdy „odstające” tworzą wzór, np. krzywiznę, problemem jest model, nie dane.

Pełne porównanie metod pokazuje wpis Regresja odporna – estymatory M i MM, a decyzję o usuwaniu wierszy omawia Czy można usunąć obserwacje odstające?.

Przykład reprodukowalny

Estymator M w R

Kod symuluje dane z pięcioma błędnie wpisanymi wynikami, porównuje OLS z estymatorami M Hubera i Tukeya (MASS::rlm) oraz estymatorem MM (robustbase::lmrob) i pokazuje wagi obserwacji.

Godziny nauki a wynik testu z błędnymi wierszami

Dane wejściowe: 60 obserwacji symulowanych (set.seed(3742)): godziny nauki i wynik testu; pięciu osobom z najdłuższą nauką obniżono wynik o 35 pkt.

Co odczytać: współczynniki modeli (wiersz bez_bledow to OLS bez pięciu błędnych wierszy), nachylenia z błędami standardowymi, wagi Hubera i bisquare dla błędnych obserwacji oraz najmniejsze wagi pozostałych obserwacji.

R
suppressPackageStartupMessages({library(MASS); library(robustbase)})
set.seed(3742)
n <- 60
godziny <- runif(n, 0, 10)                       # godziny nauki
wynik   <- 50 + 3 * godziny + rnorm(n, sd = 5)   # prawdziwe nachylenie: 3 pkt/h
odst <- order(godziny, decreasing = TRUE)[1:5]  # 5 osób z najdłuższą nauką...
wynik[odst] <- wynik[odst] - 35                  # ...z błędnie wprowadzonym wynikiem (odstające w y)
dane <- data.frame(godziny, wynik)
czyste <- lm(wynik ~ godziny, data = dane[-odst, ])   # punkt odniesienia: bez błędnych wierszy

ols    <- lm(wynik ~ godziny, data = dane)
huber  <- rlm(wynik ~ godziny, data = dane)                     # estymator M Hubera (k = 1.345)
tukey  <- rlm(wynik ~ godziny, data = dane, psi = psi.bisquare)  # bisquare Tukeya (c = 4.685)
mm     <- lmrob(wynik ~ godziny, data = dane)                    # estymator MM
round(rbind(bez_bledow = coef(czyste), OLS = coef(ols), Huber = coef(huber),
            Tukey = coef(tukey), MM = coef(mm)), 2)
round(rbind(OLS = coef(summary(ols))[2, 1:2], Huber = coef(summary(huber))[2, 1:2],
            Tukey = coef(summary(tukey))[2, 1:2]), 3)
round(huber$w[odst], 2)                           # wagi Hubera dla 5 odstających
round(tukey$w[odst], 2)                           # wagi bisquare dla 5 odstających
round(c(huber_min_reszta = min(huber$w[-odst]), tukey_min_reszta = min(tukey$w[-odst]),
        skala_huber = huber$s), 2)
Wynik w R
           (Intercept) godziny
bez_bledow       53.14    2.30
OLS              57.78    0.87
Huber            55.14    1.66
Tukey            52.76    2.35
MM               52.78    2.35
      Estimate Std. Error
OLS      0.875      0.425
Huber    1.660      0.322
Tukey    2.355      0.262
[1] 0.38 0.31 0.24 0.35 0.29
[1] 0 0 0 0 0
huber_min_reszta tukey_min_reszta      skala_huber
            0.60             0.64             5.90

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (pakiety MASS i robustbase; rysunek 1 – pakiety MASS, ggplot2 i patchwork). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. MASS (wersja 7.3-65): Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4th ed.). Springer. https://doi.org/10.1007/978-0-387-21706-2
  3. robustbase (wersja 0.99-7): Maechler, M., Rousseeuw, P., Croux, C., Todorov, V., Ruckstuhl, A., Salibian-Barrera, M., Verbeke, T., Koller, M., Conceicao, E. L., & Anna di Palma, M. (2026). robustbase: Basic robust statistics [R package]. http://robustbase.r-forge.r-project.org/
  4. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  5. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork

Najczęstsze pytania

Którą funkcję wybrać: Hubera czy bisquare Tukeya?

Huber jest bezpieczniejszy obliczeniowo i ma jedno rozwiązanie, ale dużym resztom zostawia część wagi. Bisquare całkowicie odrzuca skrajne reszty, lecz wymaga dobrego punktu startowego – dlatego w estymatorze MM startuje z odpornego oszacowania (Yohai, 1987).

Czy estymator M chroni przed punktami o dużej dźwigni?

Nie w pełni. Waży obserwacje według reszt, a punkt odstający w predyktorze może przyciągnąć linię tak, że jego reszta jest mała. Na takie punkty używa się estymatora MM (robustbase::lmrob) i diagnostyki dźwigni.

Jak policzyć estymator M w R?

MASS::rlm(y ~ x, data = dane) daje estymator Hubera, a z psi = psi.bisquare – Tukeya. Wagi odczytasz z model$w, a skalę reszt z model$s. Estymator MM liczy robustbase::lmrob().

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Huber, P. J. (1964). Robust estimation of a location parameter. The Annals of Mathematical Statistics, 35(1), 73–101. https://doi.org/10.1214/aoms/1177703732 ● Otwarty dostęp
  2. Yohai, V. J. (1987). High breakdown-point and high efficiency robust estimates for regression. The Annals of Statistics, 15(2), 642–656. https://doi.org/10.1214/aos/1176350366 ● Otwarty dostęp
  3. Yu, C., & Yao, W. (2017). Robust linear regression: A review and comparison. Communications in Statistics – Simulation and Computation, 46(8), 6261–6282. https://doi.org/10.1080/03610918.2016.1202271 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@article{huber1964robust, author={Huber, Peter J.}, title={{Robust estimation of a location parameter}}, journal={The Annals of Mathematical Statistics}, year={1964}, volume={35}, number={1}, pages={73--101}, doi={10.1214/aoms/1177703732}}
@article{yohai1987high, author={Yohai, Victor J.}, title={{High breakdown-point and high efficiency robust estimates for regression}}, journal={The Annals of Statistics}, year={1987}, volume={15}, number={2}, pages={642--656}, doi={10.1214/aos/1176350366}}
@article{yu2017robust, author={Yu, Chun and Yao, Weixin}, title={{Robust linear regression: A review and comparison}}, journal={Communications in Statistics – Simulation and Computation}, year={2017}, volume={46}, number={8}, pages={6261--6282}, doi={10.1080/03610918.2016.1202271}}
R