Słownik metodologiczny · Modele regresji

Drzewo decyzyjne (CART) – jak czytać drzewo i dlaczego jest niestabilne?

Drzewo decyzyjne dzieli próbę na grupy kolejnymi pytaniami o jeden predyktor i jeden próg. Pokazujemy, jak czytać drzewo i odpowiadający mu podział przestrzeni predyktorów, jak je przyciąć walidacją krzyżową i jak bardzo zmienia się w próbach bootstrapowych.

Strona główna / Słownik / Drzewo decyzyjne (CART)
W skrócie: Drzewo decyzyjne (CART) dzieli próbę na coraz mniejsze grupy pytaniami o jeden predyktor i jeden próg. Grupy końcowe – liście – dają prognozę: klasę i odsetek zdarzeń albo średnią wyniku. Drzewo łatwo czytać, ale bez przycięcia się przeucza, a mała zmiana danych potrafi zmienić jego kształt.

Co to jest drzewo decyzyjne (CART)?

Drzewo decyzyjne dzieli próbę na coraz mniejsze grupy pytaniami typu „czy średnia ocen jest co najmniej 4.11?”. Każde pytanie dotyczy jednego predyktora i jednego progu. Grupy końcowe to liście. Prognozą jest odsetek lub klasa przeważająca w liściu (drzewo klasyfikacyjne) albo średnia wyniku (drzewo regresyjne). CART (ang. classification and regression trees) to metoda opisana przez Breimana i in. (1984): drzewo rośnie przez podziały binarne, a potem jest przycinane. Strobl i in. (2009) omawiają drzewa i lasy losowe dla psychologów razem z ich pułapkami. Drzewo samo wyszukuje progi i interakcje.

Jak czytać drzewo

  • Węzeł zawiera warunek. Osoby spełniające warunek idą w lewo („tak”), pozostałe w prawo („nie”).
  • Liść podaje prognozowaną klasę, odsetek zdarzeń i liczbę osób.
  • Podział przestrzeni predyktorów: przy dwóch predyktorach każdy liść to prostokąt o bokach równoległych do osi.

Przykład

W symulowanych danych 300 studentów szansa rezygnacji ze studiów malała gładko ze średnią ocen i rosła z liczbą godzin pracy zarobkowej (współczynniki modelu logistycznego ustawiono ręcznie, by oba predyktory były widoczne; ziarna 784, 7841 i 7842 nie były zmieniane). Zrezygnowało 171 osób. Pełne drzewo miało 7 liści. Po przycięciu do minimum błędu w 10-krotnej walidacji krzyżowej zostały 4 liście. Błąd klasyfikacji w walidacji wyniósł .21, a trafność w tej samej próbie .80. Pierwszy podział to średnia ocen ≥ 4.11 (w tej grupie zrezygnowało 23% ze 108 osób). Wśród słabszych studentów decydowała praca: przy 14.6 h tygodniowo lub więcej zrezygnowało 88% ze 131 osób.

Na rysunku

Dwa panele. A: przycięte drzewo klasyfikacyjne z trzema warunkami – średnia ocen co najmniej 4.11, praca poniżej 14.6 godziny, średnia ocen co najmniej 3.22 – i czterema liśćmi z odsetkiem rezygnacji 23%, 35%, 75% i 88% oraz liczebnościami. B: wykres rozrzutu średniej ocen i godzin pracy, 300 punktów; niebieskie kółka to osoby kontynuujące studia, pomarańczowe trójkąty to rezygnacje; tło podzielone na cztery prostokąty odpowiadające liściom, z tymi samymi odsetkami
Rysunek 1. Przycięte drzewo klasyfikacyjne (A) i odpowiadający mu podział przestrzeni predyktorów (B). Obliczenia: R, pakiety rpart, ggplot2 i patchwork (dane symulowane, set.seed(784)).

Co widać. Każdy liść z panelu A to jeden prostokąt w panelu B. Prawdziwa granica biegnie ukośnie, a drzewo przybliża ją schodkami. Liść podaje odsetek, nie pewną prognozę: w prostokącie „88%” są też kółka.

Na co uważać. Rysunek nie pokazuje, jak bardzo drzewo zmieniłoby się w innej próbie. Trafność .80 policzona na danych, na których drzewo rosło, jest zawyżona względem walidacji krzyżowej.

Podpis do pracy:

Rysunek 1. Drzewo klasyfikacyjne rezygnacji ze studiów. Uwaga. Panel A: drzewo CART przycięte do minimum błędu 10-krotnej walidacji krzyżowej; w liściach prognozowana klasa, odsetek rezygnacji i liczebność. Panel B: te same liście jako obszary w przestrzeni średniej ocen i godzin pracy; punkty to obserwowane osoby (trójkąty – rezygnacja). N = 300.
Sześć małych paneli z podziałem przestrzeni średniej ocen i godzin pracy przez drzewa dopasowane do sześciu prób bootstrapowych. Pierwsze cięcie zawsze dotyczy średniej ocen (w pięciu panelach przy około 4.1–4.2, w jednym przy 3.86), ale liczba prostokątów waha się od 4 do 9, a dodatkowe cięcia leżą w różnych miejscach; prostokąty oznaczone literą R (rezygnacja, pomarańczowe) i K (kontynuacja, niebieskie)
Rysunek 2. Podziały wyznaczone przez drzewa z sześciu prób bootstrapowych tych samych danych. Obliczenia: R, pakiety rpart i ggplot2 (set.seed(7842)).

Co widać. Tę samą procedurę powtórzono na 200 próbach bootstrapowych, przycinając drzewa tym samym parametrem złożoności. Korzeń zawsze dzielił według średniej ocen, ale próg wahał się od 3.54 do 4.38. Drzewa miały od 3 do 13 liści. Średnio klasyfikowały tak samo jak drzewo z rysunku 1 88.0% osób, w najgorszej próbie tylko 70.3%.

Na co uważać. Najmniej stabilne są dolne podziały, oparte na coraz mniejszych grupach.

Podpis do pracy:

Rysunek 2. Zmienność drzewa klasyfikacyjnego między próbami bootstrapowymi. Uwaga. Każdy panel pokazuje podział przestrzeni predyktorów przez drzewo dopasowane do innej próby bootstrapowej (N = 300) i przycięte tym samym parametrem złożoności; R – prognoza rezygnacji, K – kontynuacji.

Rysunki na stronie powstały z tych samych obiektów z motywem serwisu (krój, siatka); dane, geometrie i skale są identyczne. Drzewo regresyjne, las losowy i ważność zmiennych na jednym przykładzie pokazuje wpis Drzewa decyzyjne i lasy losowe.

Jak opisać w pracy

Do klasyfikacji rezygnacji ze studiów użyto drzewa CART (Breiman i in., 1984; pakiet rpart, minimalna liczebność liścia 10). Drzewo przycięto do parametru złożoności o najmniejszym błędzie 10-krotnej walidacji krzyżowej. Ostateczne drzewo miało 4 liście; błąd klasyfikacji w walidacji krzyżowej wyniósł .21. Pierwszy podział oddzielił studentów ze średnią ocen co najmniej 4.11 (23% rezygnacji, n = 108). Wśród pozostałych najwięcej rezygnacji (88%, n = 131) było w grupie pracującej zarobkowo co najmniej 14.6 h tygodniowo. W 200 próbach bootstrapowych liczba liści wahała się od 3 do 13.

Na co uważać

  • Nieprzycięte drzewo się przeucza. Rośnie, aż liście są prawie czyste, i dopasowuje szum (zob. przeuczenie). Raportuj błąd z walidacji.
  • Jedno drzewo jest niestabilne. Mała zmiana danych zmienia progi i kształt drzewa. Gdy liczy się trafność, uśrednij wiele drzew (las losowy).
  • Schodki zamiast gładkiej zależności. Przy zależności liniowej regresja logistyczna zwykle będzie trafniejsza i prostsza.
  • Progi są dopasowane do danych. Próg „4.11” nie jest odkrytym punktem odcięcia.
  • Drzewo to nie model przyczynowy. Kształt zależności w modelach z wielu drzew pokazuje wykres częściowej zależności.
Przykład reprodukowalny

Drzewo CART w R

Kod symuluje dane, dopasowuje drzewo klasyfikacyjne funkcją rpart(), przycina je według walidacji krzyżowej i powtarza całą procedurę na 200 próbach bootstrapowych. Drzewo i prostokąty liści rysuje ręcznie w ggplot2 z obiektu rpart (obiekty p1 i p2).

Drzewo, przycinanie, bootstrap i oba rysunki

Dane wejściowe: 300 studentów; średnia ocen, godziny pracy zarobkowej w tygodniu i status (kontynuacja, rezygnacja) (dane symulowane, set.seed(784); podział walidacji krzyżowej set.seed(7841); bootstrap set.seed(7842)).

Co odczytać: tabelę parametru złożoności (xerror – względny błąd walidacji krzyżowej), liczbę liści przed i po przycięciu, trafność w próbie i błąd walidacji, zmienną i próg korzenia, a z bootstrapu: zmienną korzenia, rozkład progu, liczbę liści i zgodność klasyfikacji z drzewem z całej próby.

R
# Drzewo klasyfikacyjne CART (rpart): drzewo, podział przestrzeni predyktorów i niestabilność w bootstrapie
suppressPackageStartupMessages({library(rpart); library(ggplot2); library(patchwork)})
kol <- c(kontynuacja = "#0072B2", rezygnacja = "#D55E00")   # Okabe–Ito; klasy różnią się też kształtem
ksz <- c(kontynuacja = 1, rezygnacja = 17)
motyw <- theme_minimal(base_size = 13) +
  theme(panel.grid.minor = element_blank(), legend.position = "bottom")
set.seed(784)                                              # 300 studentów, gładka (nie schodkowa) zależność
n <- 300
dane <- data.frame(ocena = runif(n, 2.5, 5),               # średnia ocen
                   praca = runif(n, 0, 40))                # godziny pracy zarobkowej w tygodniu
p <- plogis(7 - 2.2 * dane$ocena + 0.07 * dane$praca)
dane$status <- factor(ifelse(runif(n) < p, "rezygnacja", "kontynuacja"), levels = names(kol))
table(dane$status)
ster <- rpart.control(cp = 0.001, minbucket = 10, xval = 10)
set.seed(7841)                                             # losowy podział na 10 części walidacji krzyżowej
pelne <- rpart(status ~ ocena + praca, data = dane, method = "class", control = ster)
cp_min <- pelne$cptable[which.min(pelne$cptable[, "xerror"]), "CP"]
drzewo <- prune(pelne, cp = cp_min)                        # przycięcie do minimum błędu walidacji krzyżowej
print(round(pelne$cptable, 3))
korzen <- function(f) paste(f$frame$var[1], round(f$splits[1, "index"], 2))
round(c(liscie_pelne = sum(pelne$frame$var == "<leaf>"), liscie_przyciete = sum(drzewo$frame$var == "<leaf>"),
        trafnosc_w_probie = mean(predict(drzewo, type = "class") == dane$status),
        blad_cv = min(pelne$cptable[, "xerror"]) * pelne$frame$dev[1] / n), 3)   # xerror jest względny
korzen(drzewo)
# Niestabilność: 200 drzew na próbach bootstrapowych, przycinanych tym samym cp
set.seed(7842)
boot <- lapply(1:200, function(b) {
  d <- dane[sample(n, replace = TRUE), ]
  prune(rpart(status ~ ocena + praca, data = d, method = "class", control = ster), cp = cp_min)
})
zm_korzenia <- sapply(boot, function(f) f$frame$var[1])
prog_ocena <- sapply(boot, function(f) if (f$frame$var[1] == "ocena") f$splits[1, "index"] else NA)
liscie <- sapply(boot, function(f) sum(f$frame$var == "<leaf>"))
zgodnosc <- sapply(boot, function(f) mean(predict(f, dane, type = "class") == predict(drzewo, type = "class")))
table(zm_korzenia)
round(c(quantile(prog_ocena, c(0, .25, .5, .75, 1), na.rm = TRUE)), 2)
table(liscie)
round(c(zgodnosc_srednia = mean(zgodnosc), zgodnosc_min = min(zgodnosc)), 3)
# Rysunki: drzewo rysowane ręcznie z obiektu rpart i prostokąty liści w przestrzeni predyktorów
etykiety <- function(f) gsub(">=", " ≥ ", gsub("< ?", " < ", labels(f, digits = 3)))
uklad <- function(f) {                                     # ramka rpart jest w porządku preorder
  fr <- f$frame; w <- as.integer(rownames(fr)); lisc <- fr$var == "<leaf>"
  x <- numeric(nrow(fr)); x[lisc] <- seq_len(sum(lisc))
  for (i in rev(which(!lisc))) x[i] <- mean(x[match(c(2 * w[i], 2 * w[i] + 1), w)])
  et <- etykiety(f); klasa <- levels(dane$status)[fr$yval2[, 1]]
  tekst <- ifelse(lisc, sprintf("%s\n%.0f%% rezygnacji\nn = %d", klasa, 100 * fr$yval2[, 5], fr$n),
                  et[match(2 * w, w)])                     # w węźle warunek prowadzący w lewo („tak”)
  data.frame(w, x, y = -floor(log2(w)), lisc, tekst, klasa)
}
prostokaty <- function(f) {                                # granice każdego liścia z warunków na ścieżce
  fr <- f$frame; w <- as.integer(rownames(fr)); et <- labels(f, digits = 10)
  do.call(rbind, lapply(which(fr$var == "<leaf>"), function(i) {
    g <- c(x0 = 2.5, x1 = 5, y0 = 0, y1 = 40); v <- w[i]
    while (v > 1) {
      war <- et[match(v, w)]; liczba <- as.numeric(sub(".*[<=>] ?", "", war))
      if (grepl("^ocena", war)) { if (grepl("<", war)) g["x1"] <- min(g["x1"], liczba) else g["x0"] <- max(g["x0"], liczba) }
      else { if (grepl("<", war)) g["y1"] <- min(g["y1"], liczba) else g["y0"] <- max(g["y0"], liczba) }
      v <- v %/% 2
    }
    data.frame(t(g), klasa = levels(dane$status)[fr$yval2[i, 1]], proc = 100 * fr$yval2[i, 5])
  }))
}
u <- uklad(drzewo)
kraw <- merge(transform(u[u$w > 1, c("w", "x", "y")], rodzic = w %/% 2), u[, c("w", "x", "y")],
              by.x = "rodzic", by.y = "w", suffixes = c("", "_r"))
kraw$strona <- ifelse(kraw$w %% 2 == 0, "tak", "nie")
pA <- ggplot(u, aes(x, y)) +
  geom_segment(data = kraw, aes(x = x_r, y = y_r, xend = x, yend = y), colour = "grey50") +
  geom_label(data = kraw, aes(x = (x + x_r) / 2, y = (y + y_r) / 2, label = strona),
             size = 3, linewidth = 0, colour = "grey30", fill = "white") +
  geom_label(data = u[!u$lisc, ], aes(label = tekst), size = 3.4, fill = "grey95") +
  geom_label(data = u[u$lisc, ], aes(label = tekst, colour = klasa), size = 3, fill = "white",
             show.legend = FALSE, lineheight = 0.9) +
  scale_colour_manual(values = kol) +
  scale_x_continuous(expand = expansion(add = 0.6)) + scale_y_continuous(expand = expansion(add = 0.45)) +
  labs(title = "A. Przycięte drzewo") + theme_void(base_size = 13)
pr <- prostokaty(drzewo)
pB <- ggplot() +
  geom_rect(data = pr, aes(xmin = x0, xmax = x1, ymin = y0, ymax = y1, fill = klasa),
            alpha = 0.18, colour = "grey30") +
  geom_point(data = dane, aes(ocena, praca, colour = status, shape = status), size = 1.7) +
  geom_label(data = pr, aes((x0 + x1) / 2, (y0 + y1) / 2, label = sprintf("%.0f%%", proc)),
             size = 3.2, fill = "white", linewidth = 0.2) +
  scale_fill_manual(values = kol, name = "Prognoza i status") +
  scale_colour_manual(values = kol, name = "Prognoza i status") +
  scale_shape_manual(values = ksz, name = "Prognoza i status") +
  coord_cartesian(xlim = c(2.5, 5), ylim = c(0, 40), expand = FALSE) +
  labs(title = "B. Te same liście jako prostokąty", x = "Średnia ocen", y = "Praca zarobkowa (h/tydz.)")
p1 <- pA + (pB + motyw) + plot_layout(widths = c(1.15, 1))
pB_boot <- do.call(rbind, lapply(1:6, function(b) transform(prostokaty(boot[[b]]),
  proba = sprintf("Próba %d: %d liści", b, liscie[b]))))
p2 <- ggplot(pB_boot) +
  geom_rect(aes(xmin = x0, xmax = x1, ymin = y0, ymax = y1, fill = klasa), alpha = 0.35, colour = "grey25") +
  geom_text(data = function(d) d[d$x1 - d$x0 > 0.15, ],     # litera tylko w szerszych prostokątach
            aes((x0 + x1) / 2, (y0 + y1) / 2, label = ifelse(klasa == "rezygnacja", "R", "K")),
            size = 3.2, colour = "grey15") +
  facet_wrap(~ proba, ncol = 3) + scale_x_continuous(breaks = 3:5) +
  scale_fill_manual(values = kol, name = "Prognoza (R – rezygnacja, K – kontynuacja)") +
  coord_cartesian(xlim = c(2.5, 5), ylim = c(0, 40), expand = FALSE) +
  labs(x = "Średnia ocen", y = "Praca zarobkowa (h/tydz.)") + motyw
p1
p2
Wynik w R

kontynuacja  rezygnacja 
        129         171 
     CP nsplit rel error xerror  xstd
1 0.450      0     1.000  1.000 0.066
2 0.043      1     0.550  0.566 0.058
3 0.008      3     0.465  0.488 0.055
4 0.001      6     0.442  0.550 0.057
     liscie_pelne  liscie_przyciete trafnosc_w_probie           blad_cv 
             7.00              4.00              0.80              0.21 
[1] "ocena 4.11"
zm_korzenia
ocena 
  200 
  0%  25%  50%  75% 100% 
3.54 4.11 4.11 4.17 4.38 
liscie
 3  4  5  6  7  8  9 10 11 13 
 2 24 14 43 38 31 29 11  7  1 
zgodnosc_srednia     zgodnosc_min 
           0.880            0.703 

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. rpart (wersja 4.1.24): Therneau, T., & Atkinson, B. (2025). rpart: Recursive partitioning and regression trees [R package]. https://doi.org/10.32614/CRAN.package.rpart
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  4. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork

Najczęstsze pytania

Czym drzewo decyzyjne różni się od regresji logistycznej?

Regresja logistyczna zakłada gładką zależność i podaje jeden współczynnik na predyktor. Drzewo dzieli dane progami i daje stałą prognozę w każdym liściu, więc samo znajduje interakcje i progi, ale gładką zależność przybliża schodkami.

Dlaczego drzewo decyzyjne jest niestabilne?

Każdy podział wybiera najlepszy próg w danej próbie, a kolejne podziały zależą od poprzednich. Gdy inny próg wygra o włos, zmienia się cała dalsza część drzewa. Widać to po dopasowaniu drzew do prób bootstrapowych.

Co oznacza liczba w liściu drzewa klasyfikacyjnego?

To odsetek osób z danym wynikiem wśród obserwacji, które trafiły do liścia, czyli prognozowane prawdopodobieństwo. Czytaj go razem z liczebnością liścia: odsetek z kilkunastu osób jest mało precyzyjny.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Breiman, L., Friedman, J. H., Olshen, R. A., & Stone, C. J. (1984). Classification and regression trees. Wadsworth International Group.
  2. Strobl, C., Malley, J., & Tutz, G. (2009). An introduction to recursive partitioning: Rationale, application, and characteristics of classification and regression trees, bagging, and random forests. Psychological Methods, 14(4), 323–348. https://doi.org/10.1037/a0016973 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@book{breiman1984classification, author={Breiman, Leo and Friedman, Jerome H. and Olshen, Richard A. and Stone, Charles J.}, title={{Classification and regression trees}}, year={1984}, publisher={Wadsworth International Group}}
@article{strobl2009introduction, author={Strobl, Carolin and Malley, James and Tutz, Gerhard}, title={{An introduction to recursive partitioning: Rationale, application, and characteristics of classification and regression trees, bagging, and random forests}}, journal={Psychological Methods}, year={2009}, volume={14}, number={4}, pages={323--348}, doi={10.1037/a0016973}}
R