Słownik metodologiczny · Regresja

Metoda selekcji postępującej w regresji – jak działa i dlaczego zawyża wybrane efekty

Selekcja postępująca (forward) buduje model regresji od zera, dodając po jednej zmiennej, dopóki kolejna spełnia kryterium wejścia. Wyjaśniamy regułę wejścia i zatrzymania, a w symulacji 2000 badań pokazujemy, o ile zawyża współczynniki i R² wybranego modelu.

Strona główna / Słownik / Selekcja postępująca
W skrócie: Selekcja postępująca zaczyna od modelu z samą stałą i w każdym kroku dodaje kandydata o najmniejszym p, dopóki spełnia on kryterium wejścia (w SPSS p < .05). Dodanej zmiennej już nie usuwa. Ponieważ wchodzą zmienne, których efekt w próbie wypadł mocno, ich współczynniki i R² modelu są zawyżone – traktuj wynik jako eksplorację i sprawdzaj go na nowych danych.

Co to jest metoda selekcji postępującej?

Metoda selekcji postępującej (selekcja postępująca, regresja postępująca, ang. forward selection, w SPSS opcja Forward) to automatyczny sposób budowania modelu regresji wielorakiej od zera. Procedura zaczyna od modelu z samą stałą. W każdym kroku sprawdza wszystkich kandydatów spoza modelu i dodaje tego, który najbardziej poprawia dopasowanie – ma najmniejsze p (największe F wejścia) przy kontroli zmiennych już wybranych. Zatrzymuje się, gdy najlepszy z pozostałych kandydatów nie spełnia kryterium wejścia, w SPSS domyślnie p < .05.

Wprowadzona zmienna zostaje w modelu do końca, nawet jeśli po dodaniu kolejnych straci istotność. Tym selekcja postępująca różni się od metody krokowej, która po każdym dodaniu sprawdza też usunięcie. Kierunek jest odwrotny niż w eliminacji wstecznej, która zaczyna od pełnego modelu.

Kryterium wejścia i reguła zatrzymania

W kroku k dla każdego kandydata Xj liczy się przyrost R², jaki dałoby jego dodanie, i test tego przyrostu:

Fwejścia = (R²k − R²k−1) / [(1 − R²k) / (N − k − 1)]

Program wybiera kandydata z największym F. Wartość p tego F nie jest jednak zwykłą wartością p. Wybrano ją jako najmniejszą spośród wielu testów, więc pod hipotezą zerową jest systematycznie zbyt mała. Wilkinson i Dallal (1981) wyznaczyli w symulacji, jak duże musi być R² modelu z selekcji postępującej, by uznać je za istotne przy braku związku w populacji. Przygotowali tablice zależne od liczby kandydatów i wielkości próby. Tablice uwzględniają to, że zmienne wybrano spośród wielu kandydatów, więc pozwalają ocenić R² po selekcji uczciwiej niż standardowy test F. Innymi słowy, istotność modelu z selekcji postępującej nie mówi tego, co zwykle sugeruje.

Klątwa zwycięzcy: dlaczego wybrane współczynniki są za duże

Zmienna wchodzi do modelu wtedy, gdy w tej konkretnej próbie jej efekt wypadł wystarczająco mocno. Prawdziwy, ale słaby efekt przekracza próg głównie wtedy, gdy los zawyżył oszacowanie. Odfiltrowanie prób z małymi oszacowaniami sprawia, że te, które przeszły, są przeciętnie za duże. To ten sam mechanizm, który zawyża efekty w literaturze przy efekcie szuflady, tyle że działa w obrębie jednej analizy.

Smith (2018) opisuje skutki: prawdziwe predyktory mogą wypaść jako nieistotne, a zmienne bez znaczenia – przypadkowo okazać się istotne. Model dobrze pasuje wtedy do próby, ale źle przewiduje nowe dane, i to tym gorzej, im więcej jest kandydatów. Derksen i Keselman (1992) pokazali, że to liczba kandydatów decyduje o tym, ile zmiennych szumowych trafi do modelu. Wykazali też, że R² w populacji lepiej szacuje statystyka skorygowana o liczbę wszystkich kandydatów niż o liczbę zmiennych w modelu końcowym.

Przykład: sen, nastrój i dziesięć zmiennych szumowych

Wyobraź sobie badanie 80 osób (dane symulowane), w którym wynikiem jest test pamięci, a kandydatów na predyktory jest 12. Wiemy, jak powstały dane: w populacji działają tylko dwie zmienne, długość snu i nastrój, obie ze współczynnikiem b = 0.25. Pozostałe dziesięć to szum. Maksymalne możliwe R² w populacji wynosi .111.

Jedna próba. Selekcja postępująca wykonała jeden krok: do modelu wszedł sen (p = .009) i na tym się skończyło. Nastrój, który działa tak samo silnie, nie przekroczył progu. Współczynnik snu wyniósł 0.32, SE = 0.12, czyli więcej niż prawdziwe 0.25. Model wyjaśniał 8.3% wariancji (skorygowane R² = .072). W nowej próbie 80 osób z tej samej populacji te same współczynniki dały R² = .035.

2000 prób. Żeby oddzielić regułę od przypadku, powtórzyliśmy badanie 2000 razy:

  • Sen wszedł do modelu w 54.5% badań, a obie prawdziwe zmienne naraz – tylko w 31.9%.
  • W 42.8% badań w modelu znalazła się co najmniej jedna zmienna szumowa.
  • Gdy sen wszedł do modelu, jego średni współczynnik wynosił 0.325, czyli o 30% więcej niż prawdziwe 0.25. W modelu ze wszystkimi 12 zmiennymi, bez selekcji, średnia wynosiła 0.244 (rysunek 1A).
  • Średnie R² wybranych modeli w próbie, na której wybierano, wynosiło .161 – więcej niż populacyjne .111. W nowych próbach średnie R² tych samych modeli spadło do −.014, a mediana do −.002 (rysunek 1B). Ujemne R² w nowej próbie znaczy, że model przewiduje gorzej niż sama średnia.
Panel A: rozkład oszacowań współczynnika snu w 2000 symulowanych badaniach; w modelu pełnym średnia 0.244 przy prawdziwym 0.25, po selekcji postępującej średnia 0.325. Panel B: R² wybranych modeli – w próbie selekcji średnio .161, w nowej próbie średnio −.014, przy populacyjnym R² = .111
Rysunek 1. Skutki selekcji postępującej w 2000 badaniach z tej samej populacji. A: współczynnik snu bez selekcji (szary) i wtedy, gdy sen przeszedł selekcję (czerwony); pionowe linie to średnie, przerywana – prawdziwa wartość. B: R² modeli z co najmniej jednym predyktorem w próbie selekcji i w nowej próbie; czerwony punkt to średnia (29 wartości poniżej −0.3 poza zakresem osi). Obliczenia: R (dane symulowane).

Steyerberg i in. (2001) opisują to samo zjawisko w modelach prognostycznych. Wydajność ocenianą na próbie, na której zbudowano model, zawyża się, dlatego trzeba ją sprawdzać metodami walidacji wewnętrznej. W ich porównaniu najlepiej wypadł bootstrap, który dawał stabilne oszacowania o małym obciążeniu, a podział próby na części – oszacowania zbyt pesymistyczne i zmienne. Gdy model powstał przez selekcję, każda próba bootstrap musi powtarzać całą procedurę, razem z doborem zmiennych.

Kiedy selekcja postępująca bywa używana

Ma jedną praktyczną zaletę: działa także wtedy, gdy kandydatów jest więcej niż obserwacji i modelu pełnego nie da się oszacować. Dlatego pojawia się w eksploracji dużych zbiorów zmiennych. Do takich zadań lepiej jednak nadają się metody z karaniem, np. lasso, z doborem parametru przez walidację krzyżową (zob. data mining). W pracy dyplomowej, w której testujesz hipotezy, wprowadź zaplanowane predyktory naraz (metoda wprowadzania) albo blokami (regresja hierarchiczna). Zestaw zmiennych sprawdzisz jednym testem dzięki metodzie usuwania. Liczbę osób zaplanuj z góry, korzystając z analizy mocy – przy małej próbie selekcja gubi prawdziwe efekty, jak nastrój w przykładzie.

Jak opisać selekcję postępującą w pracy

Opis musi pozwolić czytelnikowi ocenić, ile testów wykonano po drodze. Podaj liczbę kandydatów, kryterium wejścia, kolejność wejścia zmiennych i zastrzeżenie dotyczące wnioskowania. Wzór dla przykładu z jedną próbą:

Predyktory wyniku testu pamięci wybrano metodą selekcji postępującej spośród 12 kandydatów (kryterium wejścia p < .05). Do modelu weszła wyłącznie długość snu, b = 0.32, SE = 0.12, p = .009; model wyjaśniał 8.3% wariancji (skorygowane R² = .072). Ponieważ zmienne wybrano na podstawie danych, wartość p i współczynnik są prawdopodobnie zawyżone, a wynik ma charakter eksploracyjny. W niezależnej próbie (N = 80) model wyjaśniał 3.5% wariancji.

Jeśli nie masz drugiej próby, opisz walidację bootstrap albo przynajmniej zaznacz brak walidacji jako ograniczenie. Szerzej o raportowaniu regresji piszemy w poradniku regresja wieloraka krok po kroku.

Przykład reprodukowalny

Selekcja postępująca i jej skutki w R

Kod definiuje selekcję postępującą z progiem p < .05, pokazuje jej przebieg w jednej próbie i powtarza ją w 2000 symulowanych badaniach (ok. 20 sekund). Wszystkie liczby z tekstu i rysunku pochodzą z tego kodu.

Jedna próba i symulacja 2000 badań

Dane wejściowe: próby po 80 osób (dane symulowane, set.seed(205) i set.seed(2051)): wynik testu pamięci i 12 kandydatów, z których działają tylko sen i nastrój (b = 0.25).

Co odczytać: wiersz „Krok” i tabelę współczynników z jednej próby, R² w próbie i w nowej próbie, częstość wyboru snu, średni współczynnik snu po selekcji i bez niej, średnie R² w próbie selekcji i w nowej próbie, rozkład liczby zmiennych w modelu oraz odsetki badań z obiema prawdziwymi zmiennymi i z co najmniej jedną zmienną szumową.

R
# Selekcja postępująca: dodawaj predyktor o najmniejszym p, dopóki p < .05 (jak metoda Forward w SPSS)
fp <- function(p) ifelse(p < .001, "< .001", paste("=", sub("^0", "", sprintf("%.3f", p))))
postepujaca <- function(dane, y, zmienne, p_wej = .05, pokaz = FALSE) {
  w <- character(0)
  repeat {
    reszta <- setdiff(zmienne, w)
    if (length(reszta) == 0) break
    p <- sapply(reszta, function(v) coef(summary(lm(reformulate(c(w, v), y), data = dane)))[v, 4])
    if (min(p) >= p_wej) break
    w <- c(w, names(which.min(p)))
    if (pokaz) cat(sprintf("Krok %d: wchodzi %s (p %s), R2 = %s\n", length(w), names(which.min(p)), fp(min(p)),
                           sub("^0", "", sprintf("%.3f", summary(lm(reformulate(w, y), data = dane))$r.squared))))
  }
  w
}

# Scenariusz: 80 osób, wynik testu pamięci (z), 12 kandydatów na predyktory.
# W populacji działają tylko dwa: sen (b = 0.25) i nastrój (b = 0.25); pozostałe 10 to szum.
generuj <- function(n) {
  X <- as.data.frame(matrix(rnorm(n * 12), n, 12))
  names(X) <- c("sen", "nastroj", paste0("szum", 1:10))
  X$pamiec <- 0.25 * X$sen + 0.25 * X$nastroj + rnorm(n)
  X
}
kandydaci <- c("sen", "nastroj", paste0("szum", 1:10))

# 1. Jeden zbiór danych krok po kroku
set.seed(205)
dane <- generuj(80)
wyb <- postepujaca(dane, "pamiec", kandydaci, pokaz = TRUE)
m <- lm(reformulate(wyb, "pamiec"), data = dane)
round(coef(summary(m)), 3)
nowe <- generuj(80)                                     # nowa próba z tej samej populacji
R2_nowe <- 1 - sum((nowe$pamiec - predict(m, nowe))^2) / sum((nowe$pamiec - mean(nowe$pamiec))^2)
round(c(R2_proba = summary(m)$r.squared, R2_skor = summary(m)$adj.r.squared, R2_nowa_proba = R2_nowe), 3)

# 2. Symulacja: 2000 badań z tej samej populacji
set.seed(2051)
sym <- t(replicate(2000, {
  d <- generuj(80); w <- postepujaca(d, "pamiec", kandydaci)
  b_pelny <- coef(lm(pamiec ~ ., data = d))["sen"]          # model ze wszystkimi 12 kandydatami
  n_szum <- sum(grepl("szum", w)); oba <- all(c("sen", "nastroj") %in% w)
  if (length(w) == 0) return(c(wybrany = 0, b_wyb = NA, b_pelny = b_pelny, R2 = 0, R2_nowe = NA, k = 0, n_szum = 0, oba = 0))
  mw <- lm(reformulate(w, "pamiec"), data = d); nd <- generuj(80)
  c(wybrany = "sen" %in% w, b_wyb = if ("sen" %in% w) coef(mw)["sen"] else NA, b_pelny = b_pelny,
    R2 = summary(mw)$r.squared,
    R2_nowe = 1 - sum((nd$pamiec - predict(mw, nd))^2) / sum((nd$pamiec - mean(nd$pamiec))^2),
    k = length(w), n_szum = n_szum, oba = oba)
}))
sym <- as.data.frame(sym); names(sym) <- c("wybrany", "b_wyb", "b_pelny", "R2", "R2_nowe", "k", "n_szum", "oba")
round(mean(sym$wybrany), 3)                      # jak często sen trafia do modelu (moc selekcji)
round(c(b_prawdziwe = 0.25, sr_b_gdy_wybrany = mean(sym$b_wyb, na.rm = TRUE),
        sr_b_model_pelny = mean(sym$b_pelny)), 3)
# R² modeli z co najmniej jednym predyktorem: w próbie selekcji i w nowej próbie
round(c(sr_R2_w_probie = mean(sym$R2[sym$k > 0]), sr_R2_w_nowej_probie = mean(sym$R2_nowe, na.rm = TRUE),
        mediana_R2_w_nowej_probie = median(sym$R2_nowe, na.rm = TRUE),
        R2_populacyjne = 0.125 / 1.125), 3)
table(sym$k)                                     # liczba zmiennych w modelu końcowym
round(c(oba_prawdziwe = mean(sym$oba), co_najmniej_jeden_szum = mean(sym$n_szum > 0)), 3)
Wynik w R
Krok 1: wchodzi sen (p = .009), R2 = .083
            Estimate Std. Error t value Pr(>|t|)
(Intercept)   -0.089      0.105  -0.853    0.396
sen            0.316      0.119   2.665    0.009
     R2_proba       R2_skor R2_nowa_proba 
        0.083         0.072         0.035 
[1] 0.545
     b_prawdziwe sr_b_gdy_wybrany sr_b_model_pelny 
           0.250            0.325            0.244 
           sr_R2_w_probie      sr_R2_w_nowej_probie mediana_R2_w_nowej_probie 
                    0.161                    -0.014                    -0.002 
           R2_populacyjne 
                    0.111 

  0   1   2   3   4   5   6   7 
238 651 738 305  55   9   3   1 
         oba_prawdziwe co_najmniej_jeden_szum 
                 0.319                  0.428 

SPSS i step() w R

SPSS: Analyze → Regression → Linear, metoda Forward; próg wejścia ustawisz w Options. Kolejność wejścia pokazuje tabela Variables Entered/Removed.

R z AIC: step(lm(pamiec ~ 1, data = dane), scope = ~ sen + nastroj + szum1 + …, direction = "forward") dodaje zmienne, dopóki maleje AIC – to łagodniejsze kryterium niż p < .05.

Bibliografia oprogramowania

Wyniki pochodzą z R 4.5.3 (funkcje bazowe); rysunek przygotowano w pakietach ggplot2 i patchwork.

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork

Najczęstsze błędy

  • Interpretowanie istotności modelu końcowego jak zwykłego testu F. Model wybrany z wielu kandydatów prawie zawsze „jest istotny”; właściwe wartości krytyczne są wyższe (Wilkinson i Dallal, 1981).
  • Traktowanie współczynników wybranych zmiennych jak nieobciążonych. Selekcja faworyzuje próby, w których efekt wypadł za duży – w przykładzie średnio o 30%.
  • Wniosek, że zmienna, która nie weszła, nie działa. Nastrój miał taki sam efekt jak sen, a trafił do modelu wraz z nim tylko w co trzecim badaniu.
  • Raportowanie R² z próby selekcji jako miary trafności prognozy. W nowych danych model wypadł znacznie gorzej. Podaj co najmniej skorygowane R², a najlepiej wynik walidacji.
  • Selekcja na małej próbie z wieloma kandydatami. Im więcej kandydatów na osobę, tym więcej zmiennych szumowych w modelu (Derksen i Keselman, 1992).
  • Selekcja postępująca bez kontroli współliniowości. Przy skorelowanych kandydatach o kolejności wejścia decydują drobne różnice w próbie, a para zmiennych działających razem może nie wejść wcale.

Najczęstsze pytania

Na czym polega selekcja postępująca w regresji?

Procedura zaczyna od modelu bez predyktorów. W każdym kroku dodaje zmienną, która przy kontroli zmiennych już wybranych ma najmniejsze p, o ile jest ono niższe niż próg wejścia (w SPSS .05). Kończy, gdy żaden z pozostałych kandydatów nie spełnia kryterium; wprowadzonych zmiennych nie usuwa.

Czym różni się metoda forward od metody stepwise?

Selekcja postępująca (forward) tylko dodaje zmienne. Metoda krokowa (stepwise) po każdym dodaniu sprawdza także, czy któraś zmienna w modelu nie przekroczyła progu usunięcia, i może ją wyrzucić. Obie dzielą te same wady wnioskowania po selekcji.

Dlaczego współczynniki po selekcji postępującej są zawyżone?

Słaby, ale prawdziwy efekt przekracza próg wejścia głównie w próbach, w których los zawyżył jego oszacowanie. W symulacji na tej stronie współczynnik snu wynosił w populacji 0.25, a średnio 0.325 w badaniach, w których sen wszedł do modelu. W modelu ze wszystkimi zmiennymi, bez selekcji, średnia była bliska prawdziwej (0.244).

Czy istotny model z selekcji postępującej potwierdza hipotezę?

Nie. Model wybrany spośród wielu kandydatów łatwo osiąga istotność nawet przy braku związków w populacji, dlatego standardowy test F jest zbyt liberalny (Wilkinson i Dallal, 1981). Hipotezy testuj na zaplanowanym zestawie predyktorów, a wynik selekcji traktuj jako eksplorację.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Derksen, S., & Keselman, H. J. (1992). Backward, forward and stepwise automated subset selection algorithms: Frequency of obtaining authentic and noise variables. British Journal of Mathematical and Statistical Psychology, 45(2), 265–282. https://doi.org/10.1111/j.2044-8317.1992.tb00992.x
  2. Smith, G. (2018). Step away from stepwise. Journal of Big Data, 5(1), Article 32. https://doi.org/10.1186/s40537-018-0143-6 ● Otwarty dostęp
  3. Steyerberg, E. W., Harrell, F. E., Borsboom, G. J. J. M., Eijkemans, M. J. C., Vergouwe, Y., & Habbema, J. D. F. (2001). Internal validation of predictive models: Efficiency of some procedures for logistic regression analysis. Journal of Clinical Epidemiology, 54(8), 774–781. https://doi.org/10.1016/s0895-4356(01)00341-9
  4. Wilkinson, L., & Dallal, G. E. (1981). Tests of significance in forward selection regression with an F-to-enter stopping rule. Technometrics, 23(4), 377–380. https://doi.org/10.1080/00401706.1981.10487682

Cytowania BibTeX

@article{derksen1992backward, author={Derksen, Shelley and Keselman, H. J.}, title={{Backward, forward and stepwise automated subset selection algorithms: Frequency of obtaining authentic and noise variables}}, journal={British Journal of Mathematical and Statistical Psychology}, year={1992}, volume={45}, number={2}, pages={265--282}, doi={10.1111/j.2044-8317.1992.tb00992.x}}
@article{smith2018step, author={Smith, Gary}, title={{Step away from stepwise}}, journal={Journal of Big Data}, year={2018}, volume={5}, number={1}, eid={32}, doi={10.1186/s40537-018-0143-6}}
@article{steyerberg2001internal, author={Steyerberg, Ewout W. and Harrell, Frank E. and Borsboom, Gerard J. J. M. and Eijkemans, Marinus J. C. and Vergouwe, Yvonne and Habbema, J. Dik F.}, title={{Internal validation of predictive models: Efficiency of some procedures for logistic regression analysis}}, journal={Journal of Clinical Epidemiology}, year={2001}, volume={54}, number={8}, pages={774--781}, doi={10.1016/s0895-4356(01)00341-9}}
@article{wilkinson1981tests, author={Wilkinson, Leland and Dallal, Gerard E.}, title={{Tests of significance in forward selection regression with an F-to-enter stopping rule}}, journal={Technometrics}, year={1981}, volume={23}, number={4}, pages={377--380}, doi={10.1080/00401706.1981.10487682}}
R