Co to jest estymator M?
Estymator M (ang. M-estimator) w regresji odpornej minimalizuje nie sumę kwadratów reszt, lecz sumę funkcji ρ, która dla dużych reszt rośnie wolniej niż kwadrat. Dzięki temu pojedyncza obserwacja odstająca nie przeciąga linii regresji. Pomysł pochodzi od Hubera (1964), który szukał estymatorów położenia pośrednich między średnią a medianą, odpornych na domieszkę grubych błędów. Zwykła regresja liniowa (OLS) jest szczególnym przypadkiem z ρ(e) = e².
Funkcje Hubera i Tukeya, czyli wagi
W praktyce estymator M liczy się iteracyjnie ważoną metodą najmniejszych kwadratów: obserwacje z dużą resztą standaryzowaną dostają wagę mniejszą niż 1. Funkcja Hubera (stała 1.345) zostawia małym resztom wagę 1, a dużym ją obniża, ale nigdy do zera. Funkcja bisquare Tukeya (stała 4.685) jest opadająca: skrajne reszty dostają wagę 0. Obie stałe dają około 95% efektywności OLS przy normalnych błędach. Słabość estymatora M to punkty o dużej dźwigni: odstające w predyktorze potrafią go zepsuć. Estymator MM (Yohai, 1987) łączy punkt załamania 0.5 z wysoką efektywnością, a przegląd metod podają Yu i Yao (2017).
Przykład
W symulowanych danych (n = 60) wynik testu rósł z godzinami nauki. U pięciu osób z najdłuższą nauką wpisano wynik o 35 punktów za niski. Bez tych wierszy nachylenie wynosiło 2.30 pkt na godzinę. OLS na pełnych danych dał 0.87 (SE = 0.43), estymator Hubera 1.66 (SE = 0.32), a bisquare 2.35 (SE = 0.26), tyle samo co MM. Wagi Hubera dla błędnych wierszy wyniosły 0.24–0.38, a bisquare – 0.
Na rysunku
set.seed(3742)).Co widać. Panel A to dane z przykładu. Pięć trójkątów to osoby z najdłuższą nauką, którym wpisano wynik o 35 punktów za niski. OLS próbuje dopasować się także do nich, więc prosta się spłaszcza (nachylenie 0.87). Huber zmniejsza ich wpływ tylko częściowo (1.66), a bisquare prawie go usuwa (2.35) i prowadzi prostą przez chmurę pozostałych osób. Panel B wyjaśnia różnicę. OLS daje każdej obserwacji wagę 1, niezależnie od reszty. Huber zostawia wagę 1 dla reszt do ±1.345 (tu 47 z 60 osób), a dalej obniża ją łagodnie, więc błędne wiersze z resztami od −3.57 do −5.51 dostają jeszcze wagę do 0.38. Bisquare spada do zera przy ±4.685 skali, a błędne wiersze (reszty od −4.59 do −6.62) mają wagę 0 po zaokrągleniu.
Na co uważać. Reszta standaryzowana na osi poziomej to reszta podzielona przez odporną skalę z tego samego modelu. Wagi powstają więc razem z dopasowaniem i przy innym punkcie startowym bisquare mógłby znaleźć inne rozwiązanie. Dlatego w praktyce startuje się od estymatora odpornego, jak w estymatorze MM. Bisquare obniża też wagi zwykłym obserwacjom (tu 17 osób ma wagę poniżej 0.9) – to koszt odporności. Wykres pokazuje odstające w y. Gdyby te same osoby miały nietypowe godziny nauki (dużą dźwignię), estymator M mógłby zawieść, bo duża dźwignia „przyciąga” prostą i zmniejsza własną resztę. Porównanie z estymatorem MM i więcej scenariuszy daje wpis Regresja odporna – estymatory M i MM.
Podpis do pracy:
Kod rysunku ma jedno ziarno (set.seed(3742), to samo co w przykładzie, niezmieniane). Ręcznie ustalono, jak w przykładzie, pięć błędnych wierszy z wynikiem obniżonym o 35 punktów. Rysunek na stronie powstał z tego samego obiektu p1 z motywem serwisu (krój, siatka); dane, geometrie i skale są identyczne.
Kod R rysunku
# Rysunek 1. OLS, Huber i bisquare na danych z pięcioma błędnymi wynikami oraz funkcje wag obu estymatorów M
suppressPackageStartupMessages({library(ggplot2); library(patchwork); library(MASS)})
kol <- c(OLS = "#D55E00", Huber = "#CC79A7", bisquare = "#0072B2") # Okabe–Ito
lin <- c(OLS = "dotted", Huber = "dashed", bisquare = "solid")
motyw <- theme_minimal(base_size = 13) + theme(panel.grid.minor = element_blank(), legend.position = "bottom")
set.seed(3742) # te same dane co w przykładzie
n <- 60
godziny <- runif(n, 0, 10)
wynik <- 50 + 3 * godziny + rnorm(n, sd = 5)
odst <- order(godziny, decreasing = TRUE)[1:5]
wynik[odst] <- wynik[odst] - 35 # 5 błędnie wprowadzonych wyników
dane <- data.frame(godziny, wynik, typ = ifelse(seq_len(n) %in% odst, "błędny wynik", "pozostałe"))
modele <- list(OLS = lm(wynik ~ godziny, data = dane),
Huber = rlm(wynik ~ godziny, data = dane), # k = 1.345
bisquare = rlm(wynik ~ godziny, data = dane, psi = psi.bisquare)) # c = 4.685
proste <- data.frame(model = factor(names(modele), levels = names(kol)),
a = sapply(modele, function(m) coef(m)[[1]]), b = sapply(modele, function(m) coef(m)[[2]]))
pA <- ggplot(dane, aes(godziny, wynik)) +
geom_point(aes(shape = typ), colour = "grey35", size = 2.2) +
geom_abline(data = proste, aes(intercept = a, slope = b, colour = model, linetype = model), linewidth = 1) +
scale_shape_manual(values = c("pozostałe" = 16, "błędny wynik" = 17), name = NULL) +
scale_colour_manual(values = kol, name = NULL) + scale_linetype_manual(values = lin, name = NULL) +
labs(title = "A. Trzy proste na tych samych danych", x = "Godziny nauki", y = "Wynik testu (pkt)")
u <- seq(-8, 8, by = 0.02) # reszta standaryzowana (reszta / skala)
wagi <- rbind(data.frame(u, w = 1, model = "OLS"),
data.frame(u, w = pmin(1, 1.345 / abs(u)), model = "Huber"),
data.frame(u, w = ifelse(abs(u) <= 4.685, (1 - (u / 4.685)^2)^2, 0), model = "bisquare"))
wagi$model <- factor(wagi$model, levels = names(kol))
obs <- rbind(data.frame(u = resid(modele$Huber) / modele$Huber$s, w = modele$Huber$w, model = "Huber"),
data.frame(u = resid(modele$bisquare) / modele$bisquare$s, w = modele$bisquare$w, model = "bisquare"))
obs$model <- factor(obs$model, levels = names(kol))
pB <- ggplot(wagi, aes(u, w, colour = model, linetype = model)) +
geom_line(linewidth = 1) +
geom_point(data = obs, aes(shape = model), size = 1.8, alpha = 0.8, show.legend = FALSE) +
scale_colour_manual(values = kol, name = NULL) + scale_linetype_manual(values = lin, name = NULL) +
scale_shape_manual(values = c(Huber = 17, bisquare = 16)) +
scale_x_continuous(breaks = seq(-8, 8, 2)) +
labs(title = "B. Waga obserwacji a jej reszta", x = "Reszta standaryzowana", y = "Waga")
p1 <- (pA + pB + plot_layout(guides = "collect")) & motyw
round(proste[, c("a", "b")], 2)
round(sapply(split(obs, obs$model, drop = TRUE), function(d) range(d$u[odst])), 2)[, c("Huber", "bisquare")] # reszty błędnych
round(c(huber_odst_max = max(modele$Huber$w[odst]), bisquare_odst_max = max(modele$bisquare$w[odst]),
huber_waga_1 = sum(modele$Huber$w > 0.999), bisquare_ponizej_0.9 = sum(modele$bisquare$w < 0.9)), 2)
p1Wynik w R
a b
OLS 57.78 0.87
Huber 55.14 1.66
bisquare 52.76 2.35
Huber bisquare
[1,] -5.51 -6.62
[2,] -3.57 -4.59
huber_odst_max bisquare_odst_max huber_waga_1
0.38 0.00 47.00
bisquare_ponizej_0.9
17.00 Jak opisać w pracy
Na co uważać
- To nie HC3. Odporne błędy standardowe poprawiają SE przy heteroskedastyczności, ale współczynniki zostają z OLS; estymator M zmienia same współczynniki.
- Wagi to diagnoza. Obejrzyj obserwacje z wagą bliską 0 i porównaj je z odległością Cooka.
- Zła specyfikacja. Gdy „odstające” tworzą wzór, np. krzywiznę, problemem jest model, nie dane.
Pełne porównanie metod pokazuje wpis Regresja odporna – estymatory M i MM, a decyzję o usuwaniu wierszy omawia Czy można usunąć obserwacje odstające?.
Estymator M w R
Kod symuluje dane z pięcioma błędnie wpisanymi wynikami, porównuje OLS z estymatorami M Hubera i Tukeya (MASS::rlm) oraz estymatorem MM (robustbase::lmrob) i pokazuje wagi obserwacji.
Godziny nauki a wynik testu z błędnymi wierszami
R
suppressPackageStartupMessages({library(MASS); library(robustbase)})
set.seed(3742)
n <- 60
godziny <- runif(n, 0, 10) # godziny nauki
wynik <- 50 + 3 * godziny + rnorm(n, sd = 5) # prawdziwe nachylenie: 3 pkt/h
odst <- order(godziny, decreasing = TRUE)[1:5] # 5 osób z najdłuższą nauką...
wynik[odst] <- wynik[odst] - 35 # ...z błędnie wprowadzonym wynikiem (odstające w y)
dane <- data.frame(godziny, wynik)
czyste <- lm(wynik ~ godziny, data = dane[-odst, ]) # punkt odniesienia: bez błędnych wierszy
ols <- lm(wynik ~ godziny, data = dane)
huber <- rlm(wynik ~ godziny, data = dane) # estymator M Hubera (k = 1.345)
tukey <- rlm(wynik ~ godziny, data = dane, psi = psi.bisquare) # bisquare Tukeya (c = 4.685)
mm <- lmrob(wynik ~ godziny, data = dane) # estymator MM
round(rbind(bez_bledow = coef(czyste), OLS = coef(ols), Huber = coef(huber),
Tukey = coef(tukey), MM = coef(mm)), 2)
round(rbind(OLS = coef(summary(ols))[2, 1:2], Huber = coef(summary(huber))[2, 1:2],
Tukey = coef(summary(tukey))[2, 1:2]), 3)
round(huber$w[odst], 2) # wagi Hubera dla 5 odstających
round(tukey$w[odst], 2) # wagi bisquare dla 5 odstających
round(c(huber_min_reszta = min(huber$w[-odst]), tukey_min_reszta = min(tukey$w[-odst]),
skala_huber = huber$s), 2)Wynik w R
(Intercept) godziny
bez_bledow 53.14 2.30
OLS 57.78 0.87
Huber 55.14 1.66
Tukey 52.76 2.35
MM 52.78 2.35
Estimate Std. Error
OLS 0.875 0.425
Huber 1.660 0.322
Tukey 2.355 0.262
[1] 0.38 0.31 0.24 0.35 0.29
[1] 0 0 0 0 0
huber_min_reszta tukey_min_reszta skala_huber
0.60 0.64 5.90Bibliografia oprogramowania
Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (pakiety MASS i robustbase; rysunek 1 – pakiety MASS, ggplot2 i patchwork). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).
- R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
- MASS (wersja 7.3-65): Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4th ed.). Springer. https://doi.org/10.1007/978-0-387-21706-2
- robustbase (wersja 0.99-7): Maechler, M., Rousseeuw, P., Croux, C., Todorov, V., Ruckstuhl, A., Salibian-Barrera, M., Verbeke, T., Koller, M., Conceicao, E. L., & Anna di Palma, M. (2026). robustbase: Basic robust statistics [R package]. http://robustbase.r-forge.r-project.org/
- ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
- patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
Najczęstsze pytania
Którą funkcję wybrać: Hubera czy bisquare Tukeya?
Huber jest bezpieczniejszy obliczeniowo i ma jedno rozwiązanie, ale dużym resztom zostawia część wagi. Bisquare całkowicie odrzuca skrajne reszty, lecz wymaga dobrego punktu startowego – dlatego w estymatorze MM startuje z odpornego oszacowania (Yohai, 1987).
Czy estymator M chroni przed punktami o dużej dźwigni?
Nie w pełni. Waży obserwacje według reszt, a punkt odstający w predyktorze może przyciągnąć linię tak, że jego reszta jest mała. Na takie punkty używa się estymatora MM (robustbase::lmrob) i diagnostyki dźwigni.
Jak policzyć estymator M w R?
MASS::rlm(y ~ x, data = dane) daje estymator Hubera, a z psi = psi.bisquare – Tukeya. Wagi odczytasz z model$w, a skalę reszt z model$s. Estymator MM liczy robustbase::lmrob().
Powiązane hasła
Poradniki, w których użyjesz tego pojęcia
Regresja odporna: estymatory M i MM
Huber, bisquare i MM, rlm i lmrob w R, wagi obserwacji, różnica wobec HC3, granice metody i wzór opisu APA.
Czytaj →PoradnikCzy można usunąć obserwacje odstające?
Kiedy usunięcie wyniku jest uzasadnione, a kiedy staje się manipulacją: tabela decyzji, analiza wrażliwości w R i gotowy opis do pracy.
Czytaj →PoradnikRegresja kwantylowa krok po kroku
Model dla kilku τ, błędy standardowe, wykres współczynników w funkcji τ, test równości nachyleń i porównanie z MNK – na jednym przykładzie w R.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Wyceń analizęOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- Huber, P. J. (1964). Robust estimation of a location parameter. The Annals of Mathematical Statistics, 35(1), 73–101. https://doi.org/10.1214/aoms/1177703732 ● Otwarty dostęp
- Yohai, V. J. (1987). High breakdown-point and high efficiency robust estimates for regression. The Annals of Statistics, 15(2), 642–656. https://doi.org/10.1214/aos/1176350366 ● Otwarty dostęp
- Yu, C., & Yao, W. (2017). Robust linear regression: A review and comparison. Communications in Statistics – Simulation and Computation, 46(8), 6261–6282. https://doi.org/10.1080/03610918.2016.1202271 ● Otwarty dostęp: pełny tekst
Cytowania BibTeX
@article{huber1964robust, author={Huber, Peter J.}, title={{Robust estimation of a location parameter}}, journal={The Annals of Mathematical Statistics}, year={1964}, volume={35}, number={1}, pages={73--101}, doi={10.1214/aoms/1177703732}}@article{yohai1987high, author={Yohai, Victor J.}, title={{High breakdown-point and high efficiency robust estimates for regression}}, journal={The Annals of Statistics}, year={1987}, volume={15}, number={2}, pages={642--656}, doi={10.1214/aos/1176350366}}@article{yu2017robust, author={Yu, Chun and Yao, Weixin}, title={{Robust linear regression: A review and comparison}}, journal={Communications in Statistics – Simulation and Computation}, year={2017}, volume={46}, number={8}, pages={6261--6282}, doi={10.1080/03610918.2016.1202271}}