Słownik metodologiczny · Regresja

Metoda najmniejszych kwadratów (MNK) – na czym polega, wzory, przykład i ograniczenia

Metoda najmniejszych kwadratów wybiera prostą regresji, dla której suma kwadratów reszt jest najmniejsza. Liczymy ją krok po kroku na ośmiu obserwacjach, wyjaśniamy twierdzenie Gaussa–Markowa i pokazujemy, jak jedna obserwacja odstająca zmienia wynik – oraz kiedy sięgnąć po regresję odporną.

Strona główna / Słownik / Metoda najmniejszych kwadratów
W skrócie: Metoda najmniejszych kwadratów (MNK, OLS) wyznacza współczynniki regresji tak, by suma kwadratów reszt Σ(y − ŷ)² była najmniejsza. W regresji prostej daje to b1 = Σ(x − x̄)(y − ȳ)/Σ(x − x̄)² i b0 = ȳ − b1x̄. Przy liniowym modelu, stałej wariancji i nieskorelowanych błędach MNK daje najlepsze liniowe nieobciążone estymatory (twierdzenie Gaussa–Markowa) – bez założenia normalności. Słabość: kwadraty sprawiają, że pojedyncza obserwacja odstająca może silnie zmienić wynik, więc zawsze sprawdź obserwacje wpływowe.

Co to jest metoda najmniejszych kwadratów?

Metoda najmniejszych kwadratów (MNK, ang. ordinary least squares, OLS) to sposób wyznaczania współczynników regresji liniowej: spośród wszystkich możliwych prostych (albo płaszczyzn – przy wielu predyktorach) wybiera się tę, dla której suma kwadratów reszt jest najmniejsza. Reszta to różnica między wynikiem obserwowanym a przewidywanym przez model. Tak liczy współczynniki funkcja lm() w R i procedura regresji liniowej w SPSS.

Metoda pochodzi z początku XIX wieku i wiąże się z najsłynniejszym sporem o pierwszeństwo w historii statystyki – między Legendre’em a Gaussem. Stigler (1981) przeanalizował nowe dowody i uznał (choć nie rozstrzygająco), że Gauss najpewniej znał metodę przed Legendre’em, ale nie zdołał jej przekazać współczesnym. Dziś MNK jest podstawą regresji prostej, regresji wielorakiej i – jako szczególnego przypadku modelu liniowego – analizy wariancji.

Co dokładnie minimalizuje MNK?

Dla regresji prostej Ŷ = b0 + b1X metoda szuka takich b0 i b1, przy których najmniejsza jest suma kwadratów reszt (SSE, ang. sum of squared errors):

SSE = Σ (yi − ŷi)² = Σ (yi − b0 − b1xi)² → minimum

Minimum ma jedno rozwiązanie, które można zapisać wzorami:

b1 = Σ(xi − x̄)(yi − ȳ) / Σ(xi − x̄)²
b0 = ȳ − b1 × x̄

Licznik pierwszego wzoru to suma iloczynów odchyleń (po podzieleniu przez n − 1 – kowariancja), a mianownik – suma kwadratów odchyleń X (po podzieleniu przez n − 1 – wariancja). Z rozwiązania wynikają trzy własności, które warto znać: prosta MNK przechodzi przez punkt średnich (x̄, ȳ), reszty sumują się do zera i nie są skorelowane z predyktorem. Przy wielu predyktorach te same warunki zapisuje się macierzowo: b = (XᵀX)⁻¹Xᵀy.

Dlaczego kwadraty, a nie wartości bezwzględne? Kwadrat sprawia, że dodatnie i ujemne reszty się nie znoszą, daje jedno rozwiązanie w prostej postaci i łączy MNK z wariancją: SSE podzielone przez stopnie swobody to wariancja reszt. Ceną jest to, że duże reszty ważą nieproporcjonalnie dużo – reszta 4 waży tyle co szesnaście reszt równych 1. Wrócimy do tego przy obserwacjach odstających.

Przykład krok po kroku: sen i błędy w teście uwagi

Ośmioro studentów (dane przykładowe) podało, ile godzin spało w nocy przed testem uwagi, a badacz policzył ich błędy w teście. Średnie wynoszą x̄ = 7.0 godziny i ȳ = 10.5 błędu. Tabela pokazuje wszystkie obliczenia.

Obliczenia metody najmniejszych kwadratów dla ośmiu osób
OsobaSen xBłędy yx − x̄y − ȳ(x − x̄)(y − ȳ)(x − x̄)²ŷReszta ee²
1515−24.5−9.0414.50.50.25
2613−12.5−2.5112.50.50.25
3611−10.5−0.5112.5−1.52.25
471201.50.0010.51.52.25
5790−1.50.0010.5−1.52.25
6881−2.5−2.518.5−0.50.25
78101−0.5−0.518.51.52.25
8962−4.5−9.046.5−0.50.25
Suma————−24.012—010.00
b1 = −24 / 12 = −2.0
b0 = 10.5 − (−2.0) × 7 = 24.5

Prosta MNK ma więc postać ŷ = 24.5 − 2.0 × sen: każda dodatkowa godzina snu wiąże się z dwoma błędami mniej. Suma kwadratów reszt wynosi SSE = 10.00, a całkowita suma kwadratów odchyleń wyników od średniej SST = 58.00, więc R² = 1 − 10/58 = .83. Żadna inna prosta nie da mniejszej sumy kwadratów: na przykład prosta poprowadzona „na oko” przez skrajne punkty (5; 15) i (9; 6), czyli ŷ = 26.25 − 2.25 × sen, daje SSE = 10.75. Rysunek 1 pokazuje reszty jako kwadraty i to, jak SSE zależy od wybranego nachylenia.

Panel A: osiem punktów, prosta ŷ = 24.5 − 2.0 × sen i czerwone kwadraty o boku równym reszcie, których łączne pole wynosi 10; panel B: parabola sumy kwadratów reszt w zależności od nachylenia z minimum SSE = 10 przy b = −2.00, SSE = 10.75 dla prostej przez skrajne punkty i SSE = 58 dla b = 0
Rysunek 1. A: reszty jako kwadraty – MNK wybiera prostą, dla której łączne pole czerwonych kwadratów jest najmniejsze; krzyżyk oznacza punkt średnich, przez który prosta zawsze przechodzi. B: suma kwadratów reszt dla różnych nachyleń (stała dobierana optymalnie do każdego nachylenia); minimum przypada na b = −2.00. Obliczenia: R (dane przykładowe).

Kiedy MNK jest najlepsza: twierdzenie Gaussa–Markowa

Popularność MNK ma uzasadnienie teoretyczne. Twierdzenie Gaussa–Markowa mówi, że w modelu regresji liniowej MNK daje najlepsze liniowe nieobciążone estymatory (ang. best linear unbiased estimators, BLUE) – i to w bardzo ogólnych warunkach, które nie wymagają normalności rozkładu (Hallin, 2014). „Najlepsze” znaczy: o najmniejszej wariancji spośród wszystkich estymatorów liniowych i nieobciążonych. Warunki są następujące:

  • model jest liniowy względem współczynników i poprawnie określony (zawiera potrzebne predyktory);
  • błędy mają średnią zero i nie są skorelowane z predyktorami;
  • błędy mają stałą wariancję (homoskedastyczność) i nie są skorelowane między sobą;
  • żaden predyktor nie jest dokładną kombinacją liniową pozostałych (brak pełnej współliniowości).

Normalność błędów nie jest więc potrzebna do samego szacowania. Ma znaczenie dla dokładności testów t i F oraz przedziałów ufności, zwłaszcza w małych próbach – i dotyczy reszt, a nie surowych zmiennych (Williams i in., 2013). Gdy wariancja błędów nie jest stała, współczynniki MNK pozostają nieobciążone, ale ich błędy standardowe bywają obciążone, a testy – zbyt liberalne lub zbyt konserwatywne; Hayes i Cai (2007) zalecają wręcz rutynowe stosowanie w regresji MNK błędów standardowych odpornych na heteroskedastyczność (np. HC3). Jeśli błędy mają rozkład normalny, oszacowania MNK pokrywają się z oszacowaniami metody największej wiarygodności.

Wrażliwość na obserwacje odstające

Ponieważ MNK minimalizuje kwadraty, jedna duża reszta może zdominować wynik. Yu i Yao (2017) podkreślają, że estymatory MNK są bardzo wrażliwe na nietypowe wartości predyktorów i odstające wartości zmiennej zależnej – nawet jedna taka obserwacja może silnie zmienić oszacowania. Dodajmy do przykładu dziewiątą osobę: spała 9 godzin, ale popełniła 16 błędów (np. źle zrozumiała instrukcję).

Dziewięć punktów z jedną obserwacją odstającą (9 godzin snu, 16 błędów): prosta MNK bez niej ma nachylenie −2.00, prosta MNK z nią spłaszcza się do −0.91, a regresja odporna z funkcją bisquare daje −1.98
Rysunek 2. Wpływ jednej obserwacji odstającej (czerwony trójkąt) na prostą MNK. Szara linia przerywana – MNK dla ośmiu osób, czerwona – MNK po dodaniu dziewiątej osoby, niebieska – regresja odporna (M-estymacja z funkcją bisquare), która nadała tej osobie wagę 0.02. Obliczenia: R (dane przykładowe).

Nachylenie MNK zmieniło się z −2.00 na −0.91 – jedna osoba na dziewięć „zabrała” ponad połowę związku. Regresja odporna dała nachylenie −1.98, bo nietypowej osobie przypisała wagę 0.02, a pozostałym wagi od 0.96 do 1.00. Takie obserwacje wykrywa odległość Cooka – miara, którą Cook (1977) zaproponował do oceny wpływu każdej obserwacji na oszacowania najmniejszych kwadratów; łączy ona wielkość reszty z dźwignią obserwacji. Zanim usuniesz nietypową osobę, sprawdź, skąd się wzięła (zob. obserwacja odstająca i poradnik wartości odstające: jak je wykryć).

Alternatywy dla MNK

Gdy warunki MNK są wyraźnie naruszone, sięga się po inne metody szacowania. Regresja odporna (M- i MM-estymacja) zmniejsza wagę obserwacji o dużych resztach; Yu i Yao (2017) porównują takie metody pod względem punktu załamania i efektywności. Regresja medianowa (najmniejszych odchyleń bezwzględnych) minimalizuje sumę wartości bezwzględnych reszt i opisuje medianę zamiast średniej. Ważona MNK nadaje obserwacjom wagi odwrotnie proporcjonalne do wariancji błędu, a uogólniona MNK (GLS) uwzględnia dodatkowo korelacje błędów, np. w danych podłużnych. Dla wyników dwuwartościowych czy liczebności stosuje się modele szacowane metodą największej wiarygodności, takie jak regresja logistyczna.

Jak opisać metodę w pracy (APA)

W części o analizie danych wystarczy jedno–dwa zdania o metodzie szacowania i – jeśli ją przeprowadzono – o analizie wrażliwości. Wzór dla przykładu:

Współczynniki regresji oszacowano metodą najmniejszych kwadratów (funkcja lm w programie R 4.5.3). Liczba przespanych godzin wiązała się z liczbą błędów w teście uwagi, b = −2.00, R² = .83: każda dodatkowa godzina snu wiązała się średnio z dwoma błędami mniej. Ze względu na obserwację odstającą (9 godzin snu, 16 błędów), która zmieniała nachylenie prostej MNK do −0.91, przeprowadzono analizę wrażliwości z regresją odporną (M-estymacja z funkcją bisquare, pakiet MASS); dała ona nachylenie −1.98, zbliżone do wyniku dla danych bez tej obserwacji.

Pełny opis wyników regresji (z 95% CI, testem t i F) pokazujemy w hasłach regresja prosta i regresja wieloraka.

Przykład reprodukowalny

Przykład w R

Kod odtwarza obliczenia z tabeli, porównuje wynik ze wzorów z funkcją lm(), liczy SSE dla prostej „na oko” i pokazuje wpływ obserwacji odstającej na MNK oraz regresję odporną. Liczby w tekście i na rysunkach pochodzą z tego kodu.

MNK krok po kroku i regresja odporna

Dane wejściowe: 8 osób (dane przykładowe): sen przed testem (godziny) i liczba błędów w teście uwagi; w drugiej części – ta sama próba z dziewiątą, odstającą obserwacją.

Co odczytać: Sxy, Sxx, b1 i b0 ze wzorów, ich zgodność z coef(model), kolumnę reszt i SSE, współczynniki MNK i regresji odpornej z obserwacją odstającą oraz wagi z rlm().

R
# Dane przykładowe: 8 studentów – sen w nocy przed testem (godziny) i liczba błędów w teście uwagi
sen   <- c(5, 6, 6, 7, 7, 8, 8, 9)
bledy <- c(15, 13, 11, 12, 9, 8, 10, 6)
dane  <- data.frame(sen, bledy)

# MNK krok po kroku: odchylenia od średnich, ich iloczyny i kwadraty
dx <- sen - mean(sen)
dy <- bledy - mean(bledy)
cbind(dane, dx, dy, iloczyn = dx * dy, dx2 = dx^2)
b1 <- sum(dx * dy) / sum(dx^2)         # nachylenie
b0 <- mean(bledy) - b1 * mean(sen)     # stała
c(M_x = mean(sen), M_y = mean(bledy), Sxy = sum(dx * dy), Sxx = sum(dx^2), b1 = b1, b0 = b0)

# To samo w lm(): wartości przewidywane, reszty i ich kwadraty
model <- lm(bledy ~ sen, data = dane)
coef(model)
cbind(dane, przewidywane = fitted(model), reszta = resid(model), kwadrat = resid(model)^2)
round(c(SSE = sum(resid(model)^2), suma_reszt = sum(resid(model)),
        SST = sum(dy^2), R2 = summary(model)$r.squared), 3)

# Każda inna prosta ma większą sumę kwadratów reszt, np. prosta przez skrajne punkty
sum((bledy - (26.25 - 2.25 * sen))^2)

# Jedna obserwacja odstająca: 9 godzin snu i 16 błędów
dane_o <- rbind(dane, data.frame(sen = 9, bledy = 16))
round(coef(lm(bledy ~ sen, data = dane_o)), 2)
library(MASS)                           # rlm(): regresja odporna (M-estymacja)
odporna <- rlm(bledy ~ sen, data = dane_o, psi = psi.bisquare)
round(coef(odporna), 2)
round(odporna$w, 2)                     # wagi obserwacji w regresji odpornej
Wynik w R
  sen bledy dx   dy iloczyn dx2
1   5    15 -2  4.5    -9.0   4
2   6    13 -1  2.5    -2.5   1
3   6    11 -1  0.5    -0.5   1
4   7    12  0  1.5     0.0   0
5   7     9  0 -1.5     0.0   0
6   8     8  1 -2.5    -2.5   1
7   8    10  1 -0.5    -0.5   1
8   9     6  2 -4.5    -9.0   4
  M_x   M_y   Sxy   Sxx    b1    b0 
  7.0  10.5 -24.0  12.0  -2.0  24.5 
(Intercept)         sen 
       24.5        -2.0 
  sen bledy przewidywane reszta kwadrat
1   5    15         14.5    0.5    0.25
2   6    13         12.5    0.5    0.25
3   6    11         12.5   -1.5    2.25
4   7    12         10.5    1.5    2.25
5   7     9         10.5   -1.5    2.25
6   8     8          8.5   -0.5    0.25
7   8    10          8.5    1.5    2.25
8   9     6          6.5   -0.5    0.25
       SSE suma_reszt        SST         R2 
    10.000      0.000     58.000      0.828 
[1] 10.75
(Intercept)         sen 
      17.71       -0.91 
(Intercept)         sen 
      24.39       -1.98 
[1] 0.99 1.00 0.96 0.96 0.96 0.99 0.96 0.99 0.02

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3; rysunki przygotowano w pakietach ggplot2 i patchwork. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. MASS (wersja 7.3.65): Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4th ed.). Springer. https://www.stats.ox.ac.uk/pub/MASS4/
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  4. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork

Najczęstsze błędy

  • „MNK wymaga normalności zmiennych”. Samo szacowanie MNK nie wymaga normalności; dla testów w małych próbach ważna jest normalność reszt, a nie zmiennych.
  • Ignorowanie obserwacji wpływowych. Kwadraty sprawiają, że jedna nietypowa osoba może zmienić nachylenie – w przykładzie z −2.00 na −0.91. Zawsze obejrzyj wykres rozrzutu i odległość Cooka.
  • Automatyczne usuwanie nietypowych obserwacji. Najpierw sprawdź, czy to błąd danych. Jeśli nie, raportuj wynik z obserwacją i bez niej albo użyj regresji odpornej.
  • Traktowanie heteroskedastyczności jako problemu współczynników. Współczynniki MNK pozostają nieobciążone; obciążone bywają ich błędy standardowe – popraw je (HC3), zamiast zmieniać model.
  • Mylenie dopasowania z trafnością. MNK zawsze znajdzie „najlepszą” prostą – także wtedy, gdy związek jest krzywoliniowy albo gdy model pomija ważny predyktor.

Najczęstsze pytania

Na czym polega metoda najmniejszych kwadratów?

Metoda wybiera takie współczynniki regresji, przy których suma kwadratów reszt – różnic między wynikami obserwowanymi a przewidywanymi – jest najmniejsza. W regresji prostej rozwiązaniem jest b1 = Σ(x − x̄)(y − ȳ)/Σ(x − x̄)² oraz b0 = ȳ − b1x̄. Tak liczą współczynniki lm() w R i regresja liniowa w SPSS.

Dlaczego w metodzie najmniejszych kwadratów reszty podnosi się do kwadratu?

Kwadrat usuwa znak reszt, daje jedno rozwiązanie w prostej postaci i wiąże metodę z wariancją. Skutkiem ubocznym jest duża waga dużych reszt: reszta 4 liczy się tak jak szesnaście reszt równych 1. Dlatego MNK jest wrażliwa na obserwacje odstające, a regresja medianowa, która minimalizuje wartości bezwzględne reszt, jest bardziej odporna.

Jakie założenia ma metoda najmniejszych kwadratów?

Do samego wyznaczenia prostej założenia nie są potrzebne. Aby oszacowania były najlepsze wśród liniowych nieobciążonych (twierdzenie Gaussa–Markowa), model musi być liniowy i poprawnie określony, a błędy mieć średnią zero, stałą wariancję i nie być ze sobą skorelowane. Normalność reszt jest potrzebna dopiero do dokładnych testów w małych próbach.

Co oznacza, że estymator MNK jest BLUE?

BLUE (best linear unbiased estimator) to najlepszy liniowy nieobciążony estymator: spośród wszystkich estymatorów liniowych, które średnio trafiają w prawdziwą wartość, ma najmniejszą wariancję. Twierdzenie Gaussa–Markowa gwarantuje tę własność MNK bez założenia o rozkładzie normalnym (Hallin, 2014).

Czy metoda najmniejszych kwadratów jest odporna na obserwacje odstające?

Nie. Ponieważ minimalizuje kwadraty reszt, jedna nietypowa obserwacja może wyraźnie zmienić współczynniki – w przykładzie z tej strony nachylenie zmieniło się z −2.00 na −0.91. Obserwacje wpływowe wykrywa się odległością Cooka, a gdy są prawdziwymi danymi, warto porównać wynik z regresją odporną.

Czym różni się metoda najmniejszych kwadratów od metody największej wiarygodności?

MNK minimalizuje sumę kwadratów reszt i nie wymaga założenia o rozkładzie. Metoda największej wiarygodności wybiera parametry, przy których obserwowane dane są najbardziej prawdopodobne przy założonym rozkładzie. Dla regresji liniowej z normalnymi błędami obie metody dają te same współczynniki; dla regresji logistycznej czy modeli SEM stosuje się metodę największej wiarygodności.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Cook, R. D. (1977). Detection of influential observation in linear regression. Technometrics, 19(1), 15–18. https://doi.org/10.1080/00401706.1977.10489493
  2. Hallin, M. (2014). Gauss–Markov theorem in statistics. In Wiley StatsRef: Statistics reference online. Wiley. https://doi.org/10.1002/9781118445112.stat07536
  3. Hayes, A. F., & Cai, L. (2007). Using heteroskedasticity-consistent standard error estimators in OLS regression: An introduction and software implementation. Behavior Research Methods, 39(4), 709–722. https://doi.org/10.3758/bf03192961 ● Otwarty dostęp
  4. Stigler, S. M. (1981). Gauss and the invention of least squares. The Annals of Statistics, 9(3), 465–474. https://doi.org/10.1214/aos/1176345451 ● Otwarty dostęp
  5. Williams, M. N., Grajales, C. A. G., & Kurkiewicz, D. (2013). Assumptions of multiple regression: Correcting two misconceptions. Practical Assessment, Research, and Evaluation, 18, Article 11. https://doi.org/10.7275/55hn-wk47 ● Otwarty dostęp: pełny tekst
  6. Yu, C., & Yao, W. (2017). Robust linear regression: A review and comparison. Communications in Statistics – Simulation and Computation, 46(8), 6261–6282. https://doi.org/10.1080/03610918.2016.1202271 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@article{cook1977detection, author={Cook, R. Dennis}, title={{Detection of influential observation in linear regression}}, journal={Technometrics}, year={1977}, volume={19}, number={1}, pages={15--18}, doi={10.1080/00401706.1977.10489493}}
@incollection{hallin2014gauss, author={Hallin, Marc}, title={{Gauss–Markov theorem in statistics}}, booktitle={Wiley StatsRef: Statistics reference online}, year={2014}, publisher={Wiley}, doi={10.1002/9781118445112.stat07536}}
@article{hayes2007using, author={Hayes, Andrew F. and Cai, Li}, title={{Using heteroskedasticity-consistent standard error estimators in OLS regression: An introduction and software implementation}}, journal={Behavior Research Methods}, year={2007}, volume={39}, number={4}, pages={709--722}, doi={10.3758/bf03192961}}
@article{stigler1981gauss, author={Stigler, Stephen M.}, title={{Gauss and the invention of least squares}}, journal={The Annals of Statistics}, year={1981}, volume={9}, number={3}, pages={465--474}, doi={10.1214/aos/1176345451}}
@article{williams2013assumptions, author={Williams, Matt N. and Grajales, Carlos A. G. and Kurkiewicz, Dason}, title={{Assumptions of multiple regression: Correcting two misconceptions}}, journal={Practical Assessment, Research, and Evaluation}, year={2013}, volume={18}, eid={11}, doi={10.7275/55hn-wk47}}
@article{yu2017robust, author={Yu, Chun and Yao, Weixin}, title={{Robust linear regression: A review and comparison}}, journal={Communications in Statistics – Simulation and Computation}, year={2017}, volume={46}, number={8}, pages={6261--6282}, doi={10.1080/03610918.2016.1202271}}
R