Słownik metodologiczny · Regresja

Metoda eliminacji wstecznej w regresji – jak działa, kiedy pomaga i czego nie naprawia

Eliminacja wsteczna zaczyna od modelu ze wszystkimi kandydatami na predyktory i usuwa je po jednym, dopóki najsłabszy nie spełni kryterium pozostania. Pokazujemy algorytm krok po kroku, przykład, w którym znajduje parę zmiennych pominiętą przez selekcję postępującą, oraz jej granice.

Strona główna / Słownik / Eliminacja wsteczna
W skrócie: Eliminacja wsteczna to automatyczny dobór predyktorów, który startuje od modelu pełnego i w każdym kroku usuwa zmienną o największym p, dopóki przekracza ono próg (w SPSS domyślnie .10). Każda zmienna jest oceniana w obecności pozostałych, więc procedura lepiej niż selekcja postępująca radzi sobie ze zmiennymi, które działają tylko razem. Wartości p modelu końcowego są jednak zbyt optymistyczne – traktuj wynik jako eksplorację.

Co to jest metoda eliminacji wstecznej?

Metoda eliminacji wstecznej (eliminacja wsteczna, selekcja wsteczna, ang. backward elimination, w SPSS opcja Backward) to automatyczny sposób doboru predyktorów w regresji wielorakiej, który zaczyna od modelu ze wszystkimi kandydatami i usuwa je po jednym. W każdym kroku program szuka predyktora o najsłabszym wkładzie – największej wartości p (najmniejszym F usunięcia) – i wyrzuca go, jeśli przekracza ustalony próg. Potem szacuje model od nowa i powtarza sprawdzenie. Procedura kończy się, gdy wszystkie pozostałe predyktory spełniają kryterium pozostania.

To jedna z trzech klasycznych procedur automatycznej selekcji, obok selekcji postępującej, która idzie w przeciwną stronę, i metody krokowej, która łączy dodawanie z usuwaniem. Różni się od nich punktem startu: każda decyzja zapada w modelu, w którym są jeszcze pozostałe zmienne. Ta cecha jest jej główną zaletą i zarazem źródłem ograniczeń, które opisujemy niżej.

Jak działa algorytm krok po kroku

  1. Oszacuj model ze wszystkimi k kandydatami na predyktory.
  2. Dla każdego predyktora policz test jego wkładu przy kontroli pozostałych. Przy jednej zmiennej F usunięcia równa się kwadratowi statystyki t współczynnika, więc kryterium F i kryterium p prowadzą do tych samych decyzji.
  3. Jeśli najsłabszy predyktor ma p większe od progu usunięcia, usuń go. W SPSS domyślny próg usunięcia to p = .10; w R funkcja step(..., direction = "backward") używa zamiast tego kryterium AIC (zob. AIC i BIC).
  4. Oszacuj model bez tej zmiennej i wróć do punktu 2.
  5. Zatrzymaj się, gdy żadna zmienna nie przekracza progu.

Usunięta zmienna nie wraca już do modelu. Tym eliminacja wsteczna różni się od metody krokowej, która w każdym kroku sprawdza także, czy któraś z wcześniej odrzuconych zmiennych nie zasługuje na powrót.

Fusunięcia = (R²z Xj − R²bez Xj) / [(1 − R²z Xj) / (N − p − 1)]

W tym wzorze p oznacza liczbę predyktorów w bieżącym modelu. Licznik to spadek R² po usunięciu zmiennej Xj, czyli kwadrat jej korelacji semicząstkowej z wynikiem.

Dlaczego wsteczna, a nie postępująca? Zmienne, które działają razem

Mantel (1970) wskazywał zalety procedury, w której zmienne odrzuca się po jednej z pełnego zestawu, zamiast budować model od zera. Jedna z nich jest szczególnie ważna w psychologii: każda zmienna jest oceniana w obecności pozostałych. Ma to znaczenie, gdy dwie skorelowane zmienne działają w przeciwnych kierunkach. Każda z osobna słabo koreluje z wynikiem, ale razem wyjaśniają sporo wariancji – to klasyczna supresja. Selekcja postępująca ocenia zmienne pojedynczo, na początku nawet bez drugiej zmiennej z pary, więc może nie wpuścić żadnej z nich. Eliminacja wsteczna zaczyna z obiema zmiennymi w modelu i widzi ich łączny efekt.

Derksen i Keselman (1992) porównali w badaniu Monte Carlo selekcję wsteczną, postępującą i krokową. Odsetek prawdziwych predyktorów w modelu końcowym zależał przede wszystkim od korelacji między predyktorami, a liczba zmiennych szumowych w modelu – od liczby kandydatów. Wielkość próby miała dla trafnego wyboru mniejsze znaczenie praktyczne. Przewaga eliminacji wstecznej w scenariuszu z supresją nie zmienia więc wniosku ogólnego: żadna z trzech procedur nie gwarantuje wyboru właściwego zestawu zmiennych.

Przykład: zadowolenie z pracy i osiem kandydatów na predyktory

W badaniu 160 pracowników (dane symulowane) wynikiem było zadowolenie z pracy (1–7). Kandydatów na predyktory było osiem: stres w pracy, zaangażowanie, wsparcie przełożonego, autonomia, staż, wiek, czas dojazdu i liczba nadgodzin (wyniki standaryzowane). Stres i zaangażowanie korelowały ze sobą silnie, r = .77. Ich proste korelacje z zadowoleniem były jednak bliskie zera: −.06 i .10.

Eliminacja wsteczna z progiem p > .10 potrzebowała pięciu kroków (rysunek 1). Kolejno usunęła nadgodziny (p = .701), wiek (p = .568), staż (p = .486) i czas dojazdu (p = .411). W piątym kroku najsłabszy był stres, z p < .001, więc procedura się zatrzymała. R² spadło przy tym zaledwie z .265 do .257. W modelu końcowym zostały cztery zmienne:

Model końcowy eliminacji wstecznej
PredyktorbSEtp
Stres w pracy−0.420.12−3.51< .001
Zaangażowanie0.440.123.82< .001
Wsparcie przełożonego0.340.074.71< .001
Autonomia0.330.084.12< .001

Na tych samych danych selekcja postępująca (próg wejścia p < .05) wybrała tylko wsparcie i autonomię. W ostatnim kroku najlepszym kandydatem było zaangażowanie z p = .096, a stres miał p = .400. Model postępujący wyjaśniał 18.3% wariancji (R² = .183), a dodanie do niego pary stres–zaangażowanie istotnie go poprawiało, F(2, 155) = 7.67, p < .001. Skorygowane R² wzrosło z .173 do .237. Dane wygenerowano z modelu, w którym działały dokładnie te cztery zmienne, więc tu eliminacja wsteczna trafiła. Pamiętaj jednak, że to jeden zbiór danych dobrany do zilustrowania mechanizmu, a nie dowód, że metoda zawsze działa.

Tabela kolorów: osiem predyktorów w wierszach, pięć kroków eliminacji wstecznej w kolumnach. Kolejno usuwane są nadgodziny (p = .701), wiek (.568), staż (.486) i dojazd (.411); stres, zaangażowanie, wsparcie i autonomia mają w każdym kroku p < .001. R² spada z .265 do .257
Rysunek 1. Ścieżka eliminacji wstecznej. W każdej kolumnie podano wartości p predyktorów w bieżącym modelu; czerwona komórka to zmienna usuwana w danym kroku, a pusta – zmienna już usunięta. Pod kolumnami – R² modelu przed usunięciem. Obliczenia: R (dane symulowane).

Czego eliminacja wsteczna nie naprawia

Start od pełnego modelu ma swoją cenę. Gdy kandydatów jest wielu w stosunku do liczby osób, pełny model jest niestabilny: błędy standardowe są duże, a współliniowość sprawia, że o tym, która z dwóch podobnych zmiennych odpadnie, decyduje przypadek. Przy większej liczbie kandydatów niż obserwacji modelu pełnego w ogóle nie da się oszacować. Babyak (2004) zalicza automatyczny dobór zmiennych do głównych źródeł przeuczenia (overfitting). Model dopasowuje się wtedy do szumu w próbie i gorzej przewiduje wyniki w nowych danych.

Heinze i in. (2018) przypominają, że wartości p i przedziały ufności z modelu końcowego są liczone tak, jakby zestaw zmiennych był znany z góry. Ignorują to, że zmienne przeszły przez sito – zostały tylko te, które w tej próbie wypadły dobrze. Współczynniki takich zmiennych są przeciętnie zawyżone, a p zbyt optymistyczne. Autorzy zalecają, by przy modelach wyjaśniających opierać wybór zmiennych na wiedzy merytorycznej. Jeśli selekcję jednak stosujesz, raportuj jej stabilność, na przykład częstość wyboru zmiennych w próbach bootstrap (przykład takiej analizy znajdziesz w haśle o metodzie krokowej).

Kiedy eliminacja wsteczna ma sens, a kiedy wybrać inne rozwiązanie
SytuacjaCo zrobić
Testujesz hipotezy o konkretnych predyktorachNie usuwaj zmiennych automatycznie; wprowadź zaplanowany zestaw naraz (metoda wprowadzania) albo blokami (regresja hierarchiczna).
Chcesz sprawdzić, czy zestaw zmiennych (np. kilka zmiennych zero-jedynkowych) coś wnosiUsuń cały zestaw jednym testem – tak działa metoda usuwania.
Cel eksploracyjny, mało kandydatów, duża próba, skorelowane predyktoryEliminacja wsteczna jest rozsądniejsza niż postępująca, ale wynik traktuj jako hipotezę do sprawdzenia w nowych danych.
Cel predykcyjny, wielu kandydatówLepiej sprawdzają się metody z karaniem (np. lasso) i walidacja krzyżowa (zob. data mining).

Jak opisać eliminację wsteczną w pracy

Recenzent musi wiedzieć, ilu było kandydatów, jakie kryterium usunięcia przyjęto i co zostało w modelu. Podaj też model pełny – w tabeli albo w aneksie – żeby czytelnik zobaczył zmienne, które odpadły. Wzór dla przykładu:

Predyktory zadowolenia z pracy wybrano metodą eliminacji wstecznej spośród ośmiu kandydatów (kryterium usunięcia: p > .10). W czterech krokach usunięto liczbę nadgodzin, wiek, staż i czas dojazdu. Model końcowy wyjaśniał 25.7% wariancji zadowolenia (skorygowane R² = .237). Zadowolenie było wyższe przy większym zaangażowaniu, b = 0.44, SE = 0.12, p < .001, większym wsparciu przełożonego, b = 0.34, SE = 0.07, p < .001, i większej autonomii, b = 0.33, SE = 0.08, p < .001, a niższe przy wyższym stresie, b = −0.42, SE = 0.12, p < .001. Ze względu na automatyczny dobór zmiennych wartości p mają charakter opisowy, a model wymaga sprawdzenia w niezależnej próbie.

Tabelę współczynników przygotuj według wzoru tabeli regresji w APA. Szerszy kontekst – od założeń po interpretację – opisuje poradnik regresja wieloraka krok po kroku.

Przykład reprodukowalny

Eliminacja wsteczna w R

Kod tworzy dane z przykładu, wykonuje eliminację wsteczną z progiem p > .10 (jak w SPSS) i dla porównania selekcję postępującą z progiem p < .05. Wszystkie liczby z tekstu, tabeli i rysunku pochodzą z tego kodu.

Eliminacja wsteczna i porównanie z selekcją postępującą

Dane wejściowe: 160 osób (dane symulowane, set.seed(223)): zadowolenie z pracy (1–7) i osiem standaryzowanych kandydatów na predyktory.

Co odczytać: korelacje proste z wynikiem, wiersze „Krok” (usuwana zmienna i jej p), tabelę współczynników modelu końcowego, wiersze „Model z” selekcji postępującej oraz test anova() porównujący oba modele.

R
# Dane symulowane: 160 pracowników, zadowolenie z pracy (1–7) i 8 kandydatów na predyktory.
# Stres i zaangażowanie są silnie skorelowane i działają w przeciwnych kierunkach (para supresyjna).
set.seed(223)
N <- 160
z <- rnorm(N)
dane <- data.frame(
  stres        = 0.88 * z + sqrt(1 - 0.88^2) * rnorm(N),
  zaangazowanie = 0.88 * z + sqrt(1 - 0.88^2) * rnorm(N),
  wsparcie     = rnorm(N), autonomia = rnorm(N), staz = rnorm(N),
  wiek         = rnorm(N), dojazd = rnorm(N), nadgodziny = rnorm(N))
dane$zadowolenie <- 4.5 - 0.40 * dane$stres + 0.40 * dane$zaangazowanie +
  0.30 * dane$wsparcie + 0.15 * dane$autonomia + rnorm(N, sd = 0.9)
dane$zadowolenie <- pmin(pmax(dane$zadowolenie, 1), 7)
round(cor(dane$stres, dane$zaangazowanie), 2)
round(cor(dane)[ "zadowolenie", 1:8], 2)        # korelacje proste z wynikiem

kandydaci <- names(dane)[1:8]
fp <- function(p) ifelse(p < .001, "< .001", paste("=", sub("^0", "", sprintf("%.3f", p))))   # zapis p w stylu APA

# Eliminacja wsteczna: start od modelu pełnego, usuwaj predyktor o największym p, dopóki p > .10
wsteczna <- function(dane, y, zmienne, p_usun = .10) {
  krok <- 0
  repeat {
    m <- lm(reformulate(zmienne, y), data = dane)
    p <- coef(summary(m))[zmienne, 4]
    krok <- krok + 1
    cat(sprintf("Krok %d: %d predyktorów, R2 %s, najsłabszy: %s (p %s)\n",
                krok, length(zmienne), fp(summary(m)$r.squared), names(which.max(p)), fp(max(p))))
    if (max(p) <= p_usun) break
    zmienne <- setdiff(zmienne, names(which.max(p)))
  }
  m
}

# Selekcja postępująca dla porównania: dodawaj predyktor o najmniejszym p, dopóki p < .05
postepujaca <- function(dane, y, zmienne, p_wej = .05) {
  wybrane <- character(0)
  repeat {
    reszta <- setdiff(zmienne, wybrane)
    p <- sapply(reszta, function(v) coef(summary(lm(reformulate(c(wybrane, v), y), data = dane)))[v, 4])
    cat(sprintf("Model z: %s | najlepszy kandydat: %s (p %s); stres p %s, zaangażowanie p %s\n",
                paste(c("stała", wybrane), collapse = " + "), names(which.min(p)), fp(min(p)),
                fp(p["stres"]), fp(p["zaangazowanie"])))
    if (min(p) >= p_wej) break
    wybrane <- c(wybrane, names(which.min(p)))
  }
  wybrane
}

m_wst <- wsteczna(dane, "zadowolenie", kandydaci)
round(coef(summary(m_wst)), 3)
round(summary(m_wst)$adj.r.squared, 3)

wyb_post <- postepujaca(dane, "zadowolenie", kandydaci)
wyb_post
m_post <- lm(reformulate(wyb_post, "zadowolenie"), data = dane)
round(c(R2 = summary(m_post)$r.squared, R2_skor = summary(m_post)$adj.r.squared), 3)
anova(m_post, m_wst)       # czy para stres + zaangażowanie poprawia model postępujący?
Wynik w R
[1] 0.77
        stres zaangazowanie      wsparcie     autonomia          staz 
        -0.06          0.10          0.33          0.29          0.11 
         wiek        dojazd    nadgodziny 
        -0.07          0.07         -0.03 
Krok 1: 8 predyktorów, R2 = .265, najsłabszy: nadgodziny (p = .701)
Krok 2: 7 predyktorów, R2 = .264, najsłabszy: wiek (p = .568)
Krok 3: 6 predyktorów, R2 = .262, najsłabszy: staz (p = .486)
Krok 4: 5 predyktorów, R2 = .260, najsłabszy: dojazd (p = .411)
Krok 5: 4 predyktorów, R2 = .257, najsłabszy: stres (p < .001)
              Estimate Std. Error t value Pr(>|t|)
(Intercept)      4.363      0.073  60.164    0.000
stres           -0.417      0.119  -3.513    0.001
zaangazowanie    0.440      0.115   3.817    0.000
wsparcie         0.341      0.072   4.714    0.000
autonomia        0.327      0.080   4.115    0.000
[1] 0.237
Model z: stała | najlepszy kandydat: wsparcie (p < .001); stres p = .468, zaangażowanie p = .191
Model z: stała + wsparcie | najlepszy kandydat: autonomia (p < .001); stres p = .568, zaangażowanie p = .092
Model z: stała + wsparcie + autonomia | najlepszy kandydat: zaangazowanie (p = .096); stres p = .400, zaangażowanie p = .096
[1] "wsparcie"  "autonomia"
     R2 R2_skor 
  0.183   0.173 
Analysis of Variance Table

Model 1: zadowolenie ~ wsparcie + autonomia
Model 2: zadowolenie ~ stres + zaangazowanie + wsparcie + autonomia
  Res.Df    RSS Df Sum of Sq      F    Pr(>F)    
1    157 143.16                                  
2    155 130.26  2    12.898 7.6736 0.0006641 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

To samo w SPSS i funkcją step()

SPSS: w oknie regresji liniowej (Analyze → Regression → Linear) wprowadź wszystkich kandydatów i jako metodę wybierz Backward; próg usunięcia ustawisz w Options (domyślnie p = .10). Tabela Variables Removed pokazuje kolejność usuwania.

R z AIC: step(lm(zadowolenie ~ ., data = dane), direction = "backward") usuwa zmienne, dopóki AIC maleje. To inne kryterium niż próg p, więc wynik może się różnić.

Bibliografia oprogramowania

Wyniki pochodzą z R 4.5.3 (funkcje bazowe); rysunek przygotowano w pakiecie ggplot2.

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org

Najczęstsze błędy

  • Traktowanie modelu końcowego jak testu hipotez. Wartości p zmiennych, które przetrwały selekcję, są zaniżone, a współczynniki – zawyżone. Opisz je jako wynik eksploracji.
  • Pominięcie informacji o kandydatach. Zdanie „zastosowano regresję wsteczną” bez listy zmiennych startowych i progu usunięcia uniemożliwia ocenę ryzyka przypadkowych wyników.
  • Usuwanie zmiennych kontrolnych. Zmienne, które kontrolujesz z powodów merytorycznych (np. zmienne zakłócające), zostaw w modelu niezależnie od ich p.
  • Za dużo kandydatów na zbyt małą próbę. Pełny model z wieloma zmiennymi i kilkudziesięcioma osobami jest niestabilny, a „wybór” zmiennych staje się loterią.
  • Usuwanie pojedynczych zmiennych zero-jedynkowych jednego czynnika. Zmienna kategorialna to zestaw zmiennych; oceniaj go łącznie (dummy coding).
  • Mylenie eliminacji wstecznej z regresją hierarchiczną. W regresji hierarchicznej kolejność ustala badacz, a w eliminacji wstecznej – algorytm na podstawie danych.

Najczęstsze pytania

Jak działa eliminacja wsteczna w regresji?

Program szacuje model ze wszystkimi kandydatami, znajduje predyktor o największej wartości p i usuwa go, jeśli przekracza próg (w SPSS domyślnie .10). Następnie szacuje model od nowa i powtarza sprawdzenie, aż wszystkie pozostałe zmienne spełnią kryterium. Usunięta zmienna już nie wraca do modelu.

Czym różni się eliminacja wsteczna od selekcji postępującej?

Eliminacja wsteczna startuje od modelu pełnego i usuwa zmienne, a selekcja postępująca startuje od pustego modelu i je dodaje. Wsteczna ocenia każdą zmienną w obecności pozostałych, więc może zachować parę skorelowanych predyktorów działających tylko razem. W przykładzie na tej stronie para stres–zaangażowanie podniosła skorygowane R² z .173 do .237, a selekcja postępująca jej nie wybrała.

Dlaczego próg usunięcia w metodzie backward wynosi .10, a nie .05?

Łagodniejszy próg usunięcia zmniejsza ryzyko, że procedura wyrzuci zmienną o realnym, ale słabo oszacowanym efekcie. W SPSS domyślnie zmienna wypada przy p > .10, a w metodzie krokowej próg usunięcia musi być wyższy niż próg wejścia (.05), by procedura nie zapętliła się. Próg podaj w opisie metody.

Czy po eliminacji wstecznej mogę interpretować wartości p?

Tylko ostrożnie i opisowo. Zmienne przeszły przez selekcję, więc ich współczynniki są przeciętnie zawyżone, a wartości p i przedziały ufności zbyt optymistyczne (Heinze i in., 2018). Model z selekcji traktuj jako hipotezę do sprawdzenia w nowych danych.

Jak zrobić eliminację wsteczną w R?

Funkcja step(lm(y ~ ., data = dane), direction = "backward") usuwa zmienne, dopóki maleje AIC. Jeśli chcesz kryterium p jak w SPSS, napisz krótką pętlę z lm() i summary() – pełny kod jest w przykładzie na tej stronie.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Babyak, M. A. (2004). What you see may not be what you get: A brief, nontechnical introduction to overfitting in regression-type models. Psychosomatic Medicine, 66(3), 411–421. https://doi.org/10.1097/01.psy.0000127692.23278.a9 ● Otwarty dostęp
  2. Derksen, S., & Keselman, H. J. (1992). Backward, forward and stepwise automated subset selection algorithms: Frequency of obtaining authentic and noise variables. British Journal of Mathematical and Statistical Psychology, 45(2), 265–282. https://doi.org/10.1111/j.2044-8317.1992.tb00992.x
  3. Heinze, G., Wallisch, C., & Dunkler, D. (2018). Variable selection – A review and recommendations for the practicing statistician. Biometrical Journal, 60(3), 431–449. https://doi.org/10.1002/bimj.201700067 ● Otwarty dostęp
  4. Mantel, N. (1970). Why stepdown procedures in variable selection. Technometrics, 12(3), 621–625. https://doi.org/10.1080/00401706.1970.10488701

Cytowania BibTeX

@article{babyak2004what, author={Babyak, Michael A.}, title={{What you see may not be what you get: A brief, nontechnical introduction to overfitting in regression-type models}}, journal={Psychosomatic Medicine}, year={2004}, volume={66}, number={3}, pages={411--421}, doi={10.1097/01.psy.0000127692.23278.a9}}
@article{derksen1992backward, author={Derksen, Shelley and Keselman, H. J.}, title={{Backward, forward and stepwise automated subset selection algorithms: Frequency of obtaining authentic and noise variables}}, journal={British Journal of Mathematical and Statistical Psychology}, year={1992}, volume={45}, number={2}, pages={265--282}, doi={10.1111/j.2044-8317.1992.tb00992.x}}
@article{heinze2018variable, author={Heinze, Georg and Wallisch, Christine and Dunkler, Daniela}, title={{Variable selection – A review and recommendations for the practicing statistician}}, journal={Biometrical Journal}, year={2018}, volume={60}, number={3}, pages={431--449}, doi={10.1002/bimj.201700067}}
@article{mantel1970why, author={Mantel, Nathan}, title={{Why stepdown procedures in variable selection}}, journal={Technometrics}, year={1970}, volume={12}, number={3}, pages={621--625}, doi={10.1080/00401706.1970.10488701}}
R