Słownik metodologiczny · Modele regresji

Elastic net: połączenie lasso i regresji grzbietowej

Elastic net łączy kary lasso i regresji grzbietowej: wybiera zmienne, ale silnie skorelowane predyktory traktuje grupowo. Pokazujemy wzór, rolę parametrów α i λ, przykład w R z pakietem glmnet i opis wyniku.

Strona główna / Słownik / Elastic net
W skrócie: Elastic net to regresja z karą będącą mieszaniną kary lasso (L1) i grzbietowej (L2). Parametr α ustala proporcję kar (α = 1 – lasso, α = 0 – regresja grzbietowa), a λ ich siłę. Metoda wybiera zmienne jak lasso, ale silnie skorelowane predyktory wprowadza do modelu raczej razem.

Co to jest elastic net?

Elastic net (ang. elastic net, czasem „sieć elastyczna”) to regresja z karą łączącą karę lasso (suma wartości bezwzględnych współczynników) i karę grzbietową (suma ich kwadratów). Każdą z kar osobno omawia hasło regresja grzbietowa i LASSO. W parametryzacji pakietu glmnet minimalizuje się średnią kwadratów reszt plus λ·[(1 − α)/2·Σβ² + α·Σ|β|]: α = 1 to lasso, α = 0 – regresja grzbietowa, wartości pośrednie dają elastic net. Zou i Hastie (2005), którzy zaproponowali metodę, pokazali, że często przewyższa lasso przy podobnie oszczędnym modelu, że silnie skorelowane predyktory wchodzą do niego lub wypadają razem (efekt grupowania) i że sprawdza się, gdy predyktorów jest dużo więcej niż obserwacji. Friedman, Hastie i Tibshirani (2010) opisali algorytm stosowany w glmnet także dla regresji logistycznej i wielomianowej.

Kiedy wybrać elastic net

Lasso z grupy silnie skorelowanych zmiennych zwykle wybiera jedną lub kilka, a pozostałe zeruje. Regresja grzbietowa zachowuje wszystkie. Elastic net to kompromis, przydatny przy współliniowości i przy wielu predyktorach. Oba parametry, λ i α, dobiera się walidacją krzyżową, aby ograniczyć przeuczenie.

Przykład

W symulowanych danych 50 osób i 100 predyktorów wynik zależał tylko od pięciu silnie skorelowanych zmiennych (r ≈ .90). Przy tych samych podziałach 10-krotnej walidacji lasso zachowało 3 predyktory, elastic net (α = 0.5) – 4, a regresja grzbietowa wszystkie 100; każdy predyktor wybrany przez lasso i elastic net należał do właściwej piątki. Na 1000 nowych obserwacjach średni błąd kwadratowy wyniósł 5.15 dla lasso, 5.32 dla elastic net i 7.33 dla regresji grzbietowej. Elastic net zachował więcej zmiennych z grupy, ale prognozował nieco gorzej niż lasso – przewaga nie jest regułą.

Na rysunku

Efekt grupowania widać na ścieżkach współczynników (dane i podziały walidacji z przykładu). Ścieżki regresji grzbietowej i lasso przy słabiej skorelowanych predyktorach pokazuje hasło regresja grzbietowa i LASSO.

Dwa panele ze ścieżkami współczynników w funkcji log(λ). A: lasso – długo w modelu jest tylko x4 (pomarańczowa linia z długimi kreskami), która przy λ z walidacji krzyżowej ma współczynnik około 1.46; x2 i x3 wchodzą dopiero blisko tej wartości z bardzo małymi współczynnikami, x1 i x5 zostają na zerze; szare linie predyktorów bez związku z wynikiem pojawiają się dopiero przy słabszej karze. B: elastic net – x4, x2 i x3 wchodzą niemal razem przy najsilniejszej karze, a przy λ z walidacji mają współczynniki około 0.67, 0.38 i 0.35; x5 jest tuż nad zerem
Rysunek 1. Ścieżki współczynników lasso (A) i elastic net z α = 0.5 (B) przy grupie pięciu silnie skorelowanych predyktorów. Obliczenia: R, pakiet glmnet; rysunek: ggplot2 i patchwork. Dane symulowane.

Co widać. Patrz od prawej, od najsilniejszej kary. Lasso (A) wpuszcza najpierw tylko x4 (przy log λ = 0.72), a x2 i x3 dopiero przy −0.26 i −0.17, tuż obok λ z walidacji. Przy tej wartości prawie cały efekt grupy przypada na x4: b = 1.458, podczas gdy x2 i x3 mają 0.019 i 0.071. Elastic net (B) wpuszcza x4, x2 i x3 niemal jednocześnie (log λ od 1.32 do 1.41) i dzieli między nie efekt: 0.673, 0.377 i 0.351, a x5 dostaje 0.015. W obu modelach przy λ z walidacji nie ma żadnego z 95 zbędnych predyktorów – szare linie pojawiają się dopiero przy słabszej karze.

Na co uważać. W modelu generującym dane wszystkie pięć zmiennych x1–x5 miało ten sam współczynnik 0.5, a żaden model go nie odtworzył – kara celowo obciąża oszacowania. To, że lasso wybrało akurat x4, wynika z tej jednej próby; w innej mogłaby to być x1. Rysunek nie pokazuje jakości przewidywania – tu elastic net prognozował nieco gorzej (przykład wyżej). Oś zawiera λ do 10 razy mniejszej niż z walidacji; przy jeszcze słabszej karze do modelu wchodzi coraz więcej szumu.

Podpis do pracy:

Rysunek 1. Ścieżki współczynników regresji lasso (A) i elastic net z α = 0.5 (B) w zależności od logarytmu parametru kary λ. Uwaga. Wyróżniono pięć predyktorów silnie ze sobą skorelowanych (r ≈ .90), które w modelu generującym dane miały jednakowy wpływ na wynik; szare linie to pozostałe predyktory, które weszły do modelu w pokazanym zakresie λ. Pionowa linia kropkowana oznacza λ wybraną 10-krotną walidacją krzyżową. Dane symulowane, n = 50, 100 predyktorów.

Kod poniżej odtwarza rysunek i liczby z tego akapitu. Jest samowystarczalny: paletę Okabe–Ito i prosty motyw definiuje sam, a dane i podziały walidacji losuje tak samo jak przykład (set.seed(685); ziarno z przykładu, niezmieniane – dlatego kod losuje też próbę testową, choć jej nie używa). Ręcznie ustawiono tylko zakres osi poziomej (do λ 10 razy mniejszej niż z walidacji). Rysunek na stronie powstał z tego samego obiektu p1 z motywem serwisu – dane, geometrie i skale są identyczne, różni się krój czcionki i siatka.

Kod R rysunku 1
# Rysunek 1. Ścieżki współczynników lasso i elastic net przy grupie silnie skorelowanych predyktorów
suppressPackageStartupMessages(library(glmnet))
library(ggplot2)
library(patchwork)

# Paleta Okabe–Ito dla pięciu predyktorów z grupy x1–x5, do tego różne rodzaje linii; reszta szara
kol <- c(x1 = "#E69F00", x2 = "#0072B2", x3 = "#009E73", x4 = "#D55E00", x5 = "#CC79A7",
         "pozostałe" = "grey65")
lin <- c(x1 = "solid", x2 = "dashed", x3 = "dotdash", x4 = "longdash", x5 = "twodash",
         "pozostałe" = "solid")
motyw <- theme_minimal(base_size = 14) +
  theme(panel.grid.minor = element_blank(), legend.position = "bottom",
        plot.title = element_text(face = "bold"))

# Te same dane symulowane co w przykładzie: n = 50, 100 predyktorów, wpływa tylko grupa x1–x5 (r ok. .90)
set.seed(685)
n <- 50; p <- 100
z <- rnorm(n)
X <- matrix(rnorm(n * p), n, p)
X[, 1:5] <- 0.95 * z + sqrt(1 - 0.95^2) * X[, 1:5]
colnames(X) <- paste0("x", 1:p)
beta <- c(rep(0.5, 5), rep(0, p - 5))
y <- drop(X %*% beta) + rnorm(n, sd = 2)
Xt <- matrix(rnorm(1000 * p), 1000, p)          # próba testowa – losowana tylko po to, by ziarno
zt <- rnorm(1000); Xt[, 1:5] <- 0.95 * zt + sqrt(1 - 0.95^2) * Xt[, 1:5]   # dało te same podziały
yt <- drop(Xt %*% beta) + rnorm(1000, sd = 2)
foldid <- sample(rep(1:10, length.out = n))     # te same podziały walidacji co w przykładzie

cv_l  <- cv.glmnet(X, y, alpha = 1,   foldid = foldid)   # lasso
cv_en <- cv.glmnet(X, y, alpha = 0.5, foldid = foldid)   # elastic net

# Ścieżka: współczynniki predyktorów dla siatki λ od najsilniejszej kary do λ 10 razy mniejszej niż
# z walidacji (dalej wchodzi coraz więcej szumu); zmienne, które w tym zakresie nie weszły, pomijamy
sciezka <- function(cv) {
  lam <- cv$glmnet.fit$lambda; k <- lam >= cv$lambda.min / 10
  B <- as.matrix(cv$glmnet.fit$beta)[, k]
  B <- B[rownames(B) %in% names(kol) | rowSums(B != 0) > 0, ]
  d <- data.frame(zmienna = rep(rownames(B), ncol(B)),
                  log_lambda = rep(log(lam[k]), each = nrow(B)), b = as.vector(B))
  d$grupa <- factor(ifelse(d$zmienna %in% names(kol), d$zmienna, "pozostałe"), names(kol))
  d
}
dl <- sciezka(cv_l); den <- sciezka(cv_en)

# Liczby do opisu: λ z walidacji, liczba predyktorów i ile z grupy x1–x5 jest w modelu przy lambda.min
podsum <- function(cv) {
  b <- coef(cv, s = "lambda.min")[-1]
  c(log_lambda_min = round(log(cv$lambda.min), 2), niezerowe = sum(b != 0), z_grupy = sum(b[1:5] != 0))
}
rbind(lasso = podsum(cv_l), elastic_net = podsum(cv_en))
# log λ, przy którym każdy z x1–x5 wchodzi do modelu (-Inf: nie wchodzi w zakresie rysunku)
wejscie <- function(d) sapply(paste0("x", 1:5), function(v)
  round(max(c(-Inf, d$log_lambda[d$zmienna == v & d$b != 0])), 2))
rbind(lasso = wejscie(dl), elastic_net = wejscie(den))
# współczynniki x1–x5 przy lambda.min
wsp <- rbind(lasso = coef(cv_l, s = "lambda.min")[2:6], elastic_net = coef(cv_en, s = "lambda.min")[2:6])
colnames(wsp) <- paste0("x", 1:5)
round(wsp, 3)
# ile zbędnych predyktorów (spoza x1–x5) jest w modelu przy lambda.min
c(lasso = sum(coef(cv_l, s = "lambda.min")[-(1:6)] != 0),
  elastic_net = sum(coef(cv_en, s = "lambda.min")[-(1:6)] != 0))

rysuj <- function(d, cv, tytul) {
  etyk <- d[d$log_lambda == min(d$log_lambda) & d$grupa != "pozostałe" & abs(d$b) > 0.1, ]   # bez etykiet przy zerze
  ggplot(d, aes(log_lambda, b, group = zmienna, colour = grupa, linetype = grupa)) +
    geom_hline(yintercept = 0, colour = "grey40", linewidth = 0.3) +
    geom_vline(xintercept = log(cv$lambda.min), linetype = "dotted", colour = "black") +
    geom_line(data = d[d$grupa == "pozostałe", ], linewidth = 0.4) +
    geom_line(data = d[d$grupa != "pozostałe", ], linewidth = 1.1) +
    geom_text(data = etyk, aes(label = zmienna), hjust = 1.2, size = 3.8, show.legend = FALSE) +
    annotate("text", x = log(cv$lambda.min), y = 1.55, label = "λ z walidacji", hjust = -0.05, size = 3.8) +
    scale_colour_manual(values = kol, breaks = names(kol), name = NULL) +
    scale_linetype_manual(values = lin, breaks = names(kol), name = NULL) +
    scale_x_continuous(expand = expansion(mult = c(0.08, 0.02))) +
    labs(title = tytul, x = "log(λ) – silniejsza kara w prawo", y = "Współczynnik b") + motyw
}
p1 <- (rysuj(dl, cv_l, "A. Lasso (α = 1)") / rysuj(den, cv_en, "B. Elastic net (α = 0.5)")) +
  plot_layout(guides = "collect") & theme(legend.position = "bottom")
p1   # zapis: ggsave("elastic-net-sciezki.svg", p1, width = 8, height = 9)
Wynik w R
            log_lambda_min niezerowe z_grupy
lasso                -0.31         3       3
elastic_net           0.34         4       4
              x1    x2    x3   x4   x5
lasso       -Inf -0.26 -0.17 0.72 -Inf
elastic_net -Inf  1.36  1.32 1.41 0.76
            x1    x2    x3    x4    x5
lasso        0 0.019 0.071 1.458 0.000
elastic_net  0 0.377 0.351 0.673 0.015
      lasso elastic_net 
          0           0 

Jak opisać w pracy

Ze względu na dużą liczbę skorelowanych predyktorów (p = 100, n = 50) zastosowano regresję elastic net (α = 0.5) w pakiecie glmnet; λ wybrano 10-krotną walidacją krzyżową (λ = 1.41). Model zachował 4 predyktory. Średni błąd kwadratowy w niezależnej próbie testowej wyniósł 5.32 (lasso: 5.15; regresja grzbietowa: 7.33).

Na co uważać

  • Standaryzacja. Kara zależy od skali zmiennych; glmnet domyślnie standaryzuje predyktory i zwraca współczynniki w skali oryginalnej.
  • Te same podziały dla każdego α. Funkcja cv.glmnet() dobiera tylko λ; α porównuj przy wspólnym argumencie foldid.
  • Bez klasycznych wartości p. Współczynniki są ściągnięte do zera, a wybór zmiennych zależy od danych, więc zwykłe przedziały ufności tu nie obowiązują.
  • Wybór zmiennych to nie przyczynowość. Zerowy współczynnik nie dowodzi braku związku (zob. ile predyktorów w regresji).
Przykład reprodukowalny

Elastic net w R

Kod symuluje dane z grupą skorelowanych predyktorów, dopasowuje glmnet::cv.glmnet() dla α = 1 (lasso), 0.5 (elastic net) i 0 (regresja grzbietowa) przy tych samych podziałach walidacji i porównuje liczbę wybranych zmiennych oraz błąd w próbie testowej. Liczby w tekście pochodzą z tego kodu.

Lasso, elastic net i regresja grzbietowa przy skorelowanych predyktorach

Dane wejściowe: 50 symulowanych obserwacji (set.seed(685)) i 100 predyktorów; tylko x1–x5 (wzajemne korelacje ok. .90) wpływają na y; próba testowa 1000 obserwacji z tego samego modelu.

Co odczytać: kolumny niezerowe (liczba wybranych predyktorów), z_grupy_x1_x5 (ile z nich należy do właściwej grupy), MSE_CV (najmniejszy błąd walidacji) i MSE_test (błąd na nowych danych); na końcu współczynniki elastic net dla x1–x7.

R
set.seed(685)                                   # dane symulowane: n = 50, 100 predyktorów
n <- 50; p <- 100
z <- rnorm(n)                                   # wspólny czynnik pierwszych 5 predyktorów (r ok. .9)
X <- matrix(rnorm(n * p), n, p)
X[, 1:5] <- 0.95 * z + sqrt(1 - 0.95^2) * X[, 1:5]
colnames(X) <- paste0("x", 1:p)
beta <- c(rep(0.5, 5), rep(0, p - 5))           # wpływa tylko grupa x1–x5
y <- drop(X %*% beta) + rnorm(n, sd = 2)
Xt <- matrix(rnorm(1000 * p), 1000, p)          # próba testowa z tego samego modelu
zt <- rnorm(1000); Xt[, 1:5] <- 0.95 * zt + sqrt(1 - 0.95^2) * Xt[, 1:5]
yt <- drop(Xt %*% beta) + rnorm(1000, sd = 2)
suppressPackageStartupMessages(library(glmnet))
foldid <- sample(rep(1:10, length.out = n))     # te same podziały CV dla każdego alfa
wyniki <- t(sapply(c(lasso = 1, elastic_net = 0.5, grzbietowa = 0), function(a) {
  cv <- cv.glmnet(X, y, alpha = a, foldid = foldid)
  b  <- coef(cv, s = "lambda.min")[-1]
  c(alpha = a, lambda_min = cv$lambda.min, niezerowe = sum(b != 0),
    z_grupy_x1_x5 = sum(b[1:5] != 0), MSE_CV = min(cv$cvm),
    MSE_test = mean((yt - predict(cv, Xt, s = "lambda.min"))^2))
}))
print(round(wyniki, 3))
cv_en <- cv.glmnet(X, y, alpha = 0.5, foldid = foldid)
print(round(coef(cv_en, s = "lambda.min")[2:8, 1], 3))   # wyraz wolny pominięty, x1–x7
Wynik w R
            alpha lambda_min niezerowe z_grupy_x1_x5 MSE_CV MSE_test
lasso         1.0      0.736         3             3  4.963    5.146
elastic_net   0.5      1.405         4             4  5.225    5.315
grzbietowa    0.0     21.455       100             5  6.693    7.334
   x1    x2    x3    x4    x5    x6    x7 
0.000 0.377 0.351 0.673 0.015 0.000 0.000 

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (pakiet glmnet 5.0). Rysunek 1 wykonano w pakiecie ggplot2, panele złożono pakietem patchwork i zapisano pakietem svglite. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. glmnet (wersja 5.0): Friedman, J., Hastie, T., & Tibshirani, R. (2010). Regularization paths for generalized linear models via coordinate descent. Journal of Statistical Software, 33(1), 1–22. https://doi.org/10.18637/jss.v033.i01
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  4. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  5. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Najczęstsze pytania

Jak wybrać parametr alfa w elastic net?

Sprawdź kilka wartości, np. 0, 0.25, 0.5, 0.75 i 1, każdą z walidacją krzyżową przy tych samych podziałach danych (argument foldid w cv.glmnet), i wybierz tę z najmniejszym błędem. Funkcja cv.glmnet sama dobiera tylko lambda.

Kiedy elastic net zamiast lasso?

Gdy predyktory tworzą grupy silnie skorelowanych zmiennych albo gdy jest ich więcej niż obserwacji. Zou i Hastie (2005) pokazali, że lasso radzi sobie wtedy słabo z doborem zmiennych, a elastic net ma efekt grupowania.

Czy elastic net nadaje się do wyniku binarnego?

Tak. W glmnet wystarczy family = "binomial" – kara elastic net działa wtedy w regresji logistycznej. Do oceny modelu użyj np. AUC lub dewiancji z walidacji krzyżowej zamiast MSE.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Friedman, J., Hastie, T., & Tibshirani, R. (2010). Regularization paths for generalized linear models via coordinate descent. Journal of Statistical Software, 33(1), 1–22. https://doi.org/10.18637/jss.v033.i01 ● Otwarty dostęp
  2. Zou, H., & Hastie, T. (2005). Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 67(2), 301–320. https://doi.org/10.1111/j.1467-9868.2005.00503.x ● Otwarty dostęp

Cytowania BibTeX

@article{friedman2010regularization, author={Friedman, Jerome and Hastie, Trevor and Tibshirani, Robert}, title={{Regularization paths for generalized linear models via coordinate descent}}, journal={Journal of Statistical Software}, year={2010}, volume={33}, number={1}, pages={1--22}, doi={10.18637/jss.v033.i01}}
@article{zou2005regularization, author={Zou, Hui and Hastie, Trevor}, title={{Regularization and variable selection via the elastic net}}, journal={Journal of the Royal Statistical Society: Series B (Statistical Methodology)}, year={2005}, volume={67}, number={2}, pages={301--320}, doi={10.1111/j.1467-9868.2005.00503.x}}
R