Słownik metodologiczny · Statystyka opisowa

Dywergencja Kullbacka–Leiblera – ile informacji tracimy, zastępując jeden rozkład drugim

Dywergencja Kullbacka–Leiblera mierzy, jak bardzo jeden rozkład prawdopodobieństwa różni się od drugiego. Pokazujemy wzór, asymetrię, związek z entropią i AIC, przykład w R z dywergencją Jensena–Shannona i opis do pracy.

Strona główna / Słownik / Dywergencja Kullbacka–Leiblera
W skrócie: Dywergencja Kullbacka–Leiblera DKL(P ‖ Q) = Σ p · ln(p/q) mierzy, ile informacji tracimy, opisując rozkład P rozkładem Q. Jest nieujemna, równa 0 tylko dla identycznych rozkładów i niesymetryczna, więc nie jest odległością.

Co to jest dywergencja Kullbacka–Leiblera?

Dywergencja Kullbacka–Leiblera (ang. Kullback–Leibler divergence, KL, entropia względna) mierzy, jak bardzo rozkład prawdopodobieństwa Q różni się od rozkładu odniesienia P. Miarę wprowadzili Kullback i Leibler (1951). Dla kategorii:

DKL(P ‖ Q) = Σ pi · ln(pi / qi)

To nadwyżka entropii krzyżowej nad entropią Shannona rozkładu P: ile dodatkowej informacji (w natach przy logarytmie naturalnym, w bitach przy log2) tracimy, opisując dane z P za pomocą Q. Dla zmiennych ciągłych sumę zastępuje całka z funkcji gęstości.

Własności

  • DKL ≥ 0 i równa się 0 tylko wtedy, gdy rozkłady są identyczne.
  • Nie jest odległością: DKL(P ‖ Q) zwykle różni się od DKL(Q ‖ P).
  • Jest nieskończona, gdy qi = 0 w kategorii, w której pi > 0. Lin (1991) zaproponował miary oparte na entropii Shannona, w tym dywergencję Jensena–Shannona, które tego warunku nie wymagają i są ograniczone.

Przykład

Dwie grupy po 200 osób odpowiadały na pytanie w skali Likerta 1–5 (dane symulowane). DKL(P ‖ Q) = 0.285 nata (0.411 bita), a w odwrotnym kierunku 0.296 nata. Ta sama wartość 0.285 wychodzi jako entropia krzyżowa minus entropia P. Symetryczna dywergencja Jensena–Shannona wynosi 0.069 nata.

Gdzie się pojawia

Maksymalizacja wiarygodności w metodzie największej wiarygodności odpowiada minimalizacji dywergencji KL między rozkładem empirycznym a modelem. Na tej idei opiera się AIC, który szacuje względną utratę informacji przez model. Statystyka G w teście zgodności to 2n razy dywergencja rozkładu obserwowanego od oczekiwanego.

Na rysunku

Trzy panele. W panelu A dwie krzywe gęstości o środku w zerze: wąska i wysoka ciągła krzywa P oraz szeroka, płaska przerywana krzywa Q. W panelu B funkcja podcałkowa KL(P‖Q) ma wysoki garb w środku i małe ujemne doliny po bokach, pole 0.318 nata. W panelu C funkcja podcałkowa KL(Q‖P) jest ujemna w środku, a duże dodatnie garby leżą w ogonach około x = ±3, pole 0.807 nata.
Rysunek 1. Rozkłady P = N(0, 1) i Q = N(0, 2²) oraz funkcje podcałkowe dywergencji KL w obu kierunkach. Obliczenia: R, pakiety ggplot2 i patchwork (wzór, bez losowania).

Co widać. Pole pod krzywą w panelu B to DKL(P ‖ Q) = 0.318 nata, a w panelu C DKL(Q ‖ P) = 0.807 nata – ponad dwa razy więcej. W pierwszym kierunku liczy się środek, gdzie P ma większość masy, a Q jest za płaski: przedział |x| ≤ 2 daje 0.385 nata. W drugim prawie całą wartość (0.982 nata) dają ogony |x| > 2, w których Q ma sporo masy, a P prawie żadnej; środek odejmuje 0.175.

Na co uważać. Funkcja podcałkowa bywa ujemna, więc pojedyncze fragmenty osi „odejmują”, ale cała dywergencja nigdy nie spada poniżej zera. Wykres nie rozstrzyga, który kierunek jest właściwy – to wynika z pytania: który rozkład jest odniesieniem, a który przybliżeniem. Parametry rozkładów wybrano ręcznie dla ilustracji.

Podpis do pracy:

Rysunek 1. Funkcje podcałkowe dywergencji Kullbacka–Leiblera dla rozkładów P = N(0, 1) i Q = N(0, 2²). Uwaga. Panel A: gęstości obu rozkładów. Panele B i C: wkład kolejnych wartości x do KL(P‖Q) = 0.318 i KL(Q‖P) = 0.807 nata; pole pod krzywą, liczone ze znakiem, równa się dywergencji.
Wykres lizakowy dla odpowiedzi 1–5. Przy każdej odpowiedzi dwa pionowe lizaki: pełny niebieski punkt dla KL(P‖Q) i pusty pomarańczowy dla KL(Q‖P). Największy dodatni wkład do KL(P‖Q) ma odpowiedź 5 (0.31), a do KL(Q‖P) odpowiedź 2 (0.40). Część lizaków jest poniżej zera, np. odpowiedź 2 dla KL(P‖Q) i odpowiedzi 4–5 dla KL(Q‖P).
Rysunek 2. Wkład poszczególnych odpowiedzi do dywergencji KL w obu kierunkach (przykład z hasła). Obliczenia: R, pakiet ggplot2 (dane symulowane, ziarno 550).

Co widać. W przykładzie ze skalą 1–5 sumy w obu kierunkach są prawie równe (0.285 i 0.296 nata), ale biorą się z innych odpowiedzi. Do DKL(P ‖ Q) najwięcej wnosi odpowiedź 5 (0.312), częsta w grupie 1 i rzadka w grupie 2. Do DKL(Q ‖ P) – odpowiedź 2 (0.395), częsta w grupie 2. Wkłady ujemne mają kategorie, w których rozkład porównywany ma więcej masy niż rozkład odniesienia.

Na co uważać. Bliskie sumy to tu zbieg okoliczności, nie dowód symetrii. Pusta kategoria w rozkładzie porównywanym dałaby nieskończony wkład. Taki układ to wykres lizakowy.

Podpis do pracy:

Rysunek 2. Wkład poszczególnych odpowiedzi na skali 1–5 do dywergencji Kullbacka–Leiblera między rozkładami odpowiedzi dwóch grup (po 200 osób). Uwaga. Pełne punkty: KL(P‖Q) z grupą 1 jako odniesieniem, suma 0.285 nata; puste punkty: KL(Q‖P) z grupą 2 jako odniesieniem, suma 0.296 nata.
Kod R rysunków
# Rysunki 1–2: asymetria dywergencji KL (rozkłady ciągłe) i wkłady kategorii w przykładzie z hasła
library(ggplot2)
library(patchwork)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw
kol <- c(P = "#0072B2", Q = "#D55E00")
motyw <- theme_minimal(base_size = 14) +
  theme(panel.grid.minor = element_blank(), legend.position = "bottom",
        plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(0.95)),
        plot.background = element_rect(fill = "white", colour = NA))

# Rysunek 1: P = N(0, 1), Q = N(0, 2²); funkcje podcałkowe obu kierunków KL
p <- function(x) dnorm(x, 0, 1)
q <- function(x) dnorm(x, 0, 2)
lr <- function(x) dnorm(x, 0, 1, log = TRUE) - dnorm(x, 0, 2, log = TRUE)   # ln[p(x)/q(x)]
f_PQ <- function(x) p(x) * lr(x)                  # funkcja podcałkowa KL(P‖Q)
f_QP <- function(x) -q(x) * lr(x)                 # funkcja podcałkowa KL(Q‖P)
KL <- c(KL_PQ_calka = integrate(f_PQ, -Inf, Inf)$value,
        KL_PQ_wzor  = log(2) + 1 / 8 - 1 / 2,       # wzór dla dwóch rozkładów normalnych
        KL_QP_calka = integrate(f_QP, -Inf, Inf)$value,
        KL_QP_wzor  = log(1 / 2) + 4 / 2 - 1 / 2)
round(KL, 3)
# skąd biorą się wartości: wkład ogonów |x| > 2 i środka |x| ≤ 2 (w natach)
round(c(QP_ogony = 2 * integrate(f_QP, 2, Inf)$value, QP_srodek = integrate(f_QP, -2, 2)$value,
        PQ_ogony = 2 * integrate(f_PQ, 2, Inf)$value, PQ_srodek = integrate(f_PQ, -2, 2)$value), 3)

x <- seq(-6, 6, length.out = 241)
d <- data.frame(x = x, p = p(x), q = q(x), fPQ = f_PQ(x), fQP = f_QP(x))
gest <- rbind(data.frame(x = x, y = d$p, rozklad = "P = N(0, 1)"),
              data.frame(x = x, y = d$q, rozklad = "Q = N(0, 2²)"))
pA <- ggplot(gest, aes(x, y, colour = rozklad, linetype = rozklad)) +
  geom_line(linewidth = 1.1) +
  scale_colour_manual(values = unname(kol), name = NULL) +
  scale_linetype_manual(values = c("solid", "dashed"), name = NULL) +
  labs(title = "A. Dwa rozkłady", x = "x", y = "Gęstość") + motyw
panel <- function(kolumna, kolor, tytul, wartosc) {
  ggplot(d, aes(x, .data[[kolumna]])) +
    geom_area(fill = kolor, alpha = 0.35) + geom_line(colour = kolor, linewidth = 1) +
    geom_hline(yintercept = 0, colour = "grey30") +
    annotate("text", x = -5.8, y = Inf, vjust = 1.4, hjust = 0, size = 4.2,
             label = sprintf("pole = %.3f nata", wartosc)) +
    coord_cartesian(ylim = c(-0.13, 0.32)) +
    labs(title = tytul, x = "x", y = "Wkład do całki") + motyw
}
pB <- panel("fPQ", kol[["P"]], "B. KL(P‖Q): p(x)·ln[p(x)/q(x)]", KL[["KL_PQ_calka"]])
pC <- panel("fQP", kol[["Q"]], "C. KL(Q‖P): q(x)·ln[q(x)/p(x)]", KL[["KL_QP_calka"]])
p1 <- pA / (pB | pC)

# Rysunek 2: wkład każdej kategorii w przykładzie z hasła (te same dane co w kodzie hasła)
set.seed(550)
g1 <- sample(1:5, 200, replace = TRUE, prob = c(0.05, 0.10, 0.20, 0.40, 0.25))
g2 <- sample(1:5, 200, replace = TRUE, prob = c(0.15, 0.25, 0.30, 0.20, 0.10))
P <- as.numeric(prop.table(table(factor(g1, levels = 1:5))))
Q <- as.numeric(prop.table(table(factor(g2, levels = 1:5))))
wklad <- rbind(data.frame(kat = 1:5, w = P * log(P / Q), kier = "PQ"),
               data.frame(kat = 1:5, w = Q * log(Q / P), kier = "QP"))
print(transform(wklad, w = round(w, 3)), row.names = FALSE)
sumy <- tapply(wklad$w, wklad$kier, sum); round(sumy, 3)
etyk <- c(PQ = sprintf("KL(P‖Q) = %.3f: odniesieniem grupa 1", sumy[["PQ"]]),
          QP = sprintf("KL(Q‖P) = %.3f: odniesieniem grupa 2", sumy[["QP"]]))
wklad$kierunek <- factor(etyk[wklad$kier], levels = etyk)
wklad$xpos <- wklad$kat + ifelse(wklad$kier == "PQ", -0.15, 0.15)
p2 <- ggplot(wklad, aes(xpos, w, colour = kierunek, shape = kierunek)) +
  geom_hline(yintercept = 0, colour = "grey30") +
  geom_segment(aes(xend = xpos, y = 0, yend = w), linewidth = 1) +
  geom_point(size = 3.6, fill = "white", stroke = 1.3) +
  scale_colour_manual(values = unname(kol), name = NULL) +
  scale_shape_manual(values = c(16, 21), name = NULL) +
  scale_x_continuous(breaks = 1:5) +
  guides(colour = guide_legend(ncol = 1), shape = guide_legend(ncol = 1)) +
  labs(x = "Odpowiedź na skali 1–5", y = "Wkład kategorii (naty)") + motyw

p1   # zapis: ggsave("dywergencja-kl-asymetria.svg", p1, width = 10, height = 7.4)
p2   # zapis: ggsave("dywergencja-kl-kategorie.svg", p2, width = 8, height = 5.2)
Wynik w R
KL_PQ_calka  KL_PQ_wzor KL_QP_calka  KL_QP_wzor 
      0.318       0.318       0.807       0.807 
 QP_ogony QP_srodek  PQ_ogony PQ_srodek 
    0.982    -0.175    -0.067     0.385 
 kat      w kier
   1 -0.018   PQ
   2 -0.113   PQ
   3 -0.057   PQ
   4  0.160   PQ
   5  0.312   PQ
   1  0.022   QP
   2  0.395   QP
   3  0.074   QP
   4 -0.104   QP
   5 -0.092   QP
   PQ    QP 
0.285 0.296 

Rysunki na stronie powstały z tego kodu z motywem serwisu (dane, geometrie i skale identyczne).

Jak opisać w pracy

Rozkład odpowiedzi w grupie 2 różnił się od rozkładu w grupie 1 (odniesienie): dywergencja Kullbacka–Leiblera wyniosła 0.285 nata (0.411 bita), a symetryczna dywergencja Jensena–Shannona – 0.069 nata.

Na co uważać

  • Kierunek. Zawsze podaj, który rozkład jest odniesieniem P.
  • Puste kategorie. Zero w Q daje nieskończoność; rozważ JS albo wygładzenie częstości i opisz to.
  • Brak skali „dużych” wartości. KL to nie test; porównuj wartości liczone na tych samych kategoriach i jednostkach.
Przykład reprodukowalny

Dywergencja KL w R

Kod symuluje odpowiedzi dwóch grup na skali 1–5, liczy dywergencję KL w obu kierunkach (w natach i bitach), sprawdza związek z entropią krzyżową, liczy dywergencję Jensena–Shannona i pokazuje, kiedy KL jest nieskończona.

KL, entropia krzyżowa i Jensen–Shannon

Dane wejściowe: odpowiedzi 1–5 dwóch grup po 200 osób (dane symulowane, set.seed(550)).

Co odczytać: KL_PQ = 0.285, KL_QP = 0.296, KL_PQ_bity = 0.411, JS = 0.069; ostatni wiersz: Inf, gdy Q ma zero tam, gdzie P nie.

R
set.seed(550)                                   # odpowiedzi na skali 1–5 w dwóch grupach po 200 osób
g1 <- sample(1:5, 200, replace = TRUE, prob = c(0.05, 0.10, 0.20, 0.40, 0.25))
g2 <- sample(1:5, 200, replace = TRUE, prob = c(0.15, 0.25, 0.30, 0.20, 0.10))
P <- prop.table(table(factor(g1, levels = 1:5)))
Q <- prop.table(table(factor(g2, levels = 1:5)))
kl <- function(p, q) sum(ifelse(p > 0, p * log(p / q), 0))   # w natach (log naturalny)
H  <- function(p) -sum(ifelse(p > 0, p * log(p), 0))         # entropia Shannona
M  <- (P + Q) / 2
round(rbind(P = P, Q = Q), 3)
round(c(KL_PQ = kl(P, Q), KL_QP = kl(Q, P),
        KL_PQ_bity = kl(P, Q) / log(2),
        entropia_krzyzowa_minus_H = -sum(P * log(Q)) - H(P),
        JS = (kl(P, M) + kl(Q, M)) / 2), 3)
kl(c(0.5, 0.5, 0), c(0.5, 0.5, 0))   # brak kategorii w obu rozkładach: 0
kl(c(0.4, 0.4, 0.2), c(0.5, 0.5, 0)) # Q = 0 tam, gdzie P > 0: nieskończoność
Wynik w R
      1     2     3    4     5
P 0.075 0.090 0.210 0.37 0.255
Q 0.095 0.315 0.275 0.24 0.075
                    KL_PQ                     KL_QP                KL_PQ_bity 
                    0.285                     0.296                     0.411 
entropia_krzyzowa_minus_H                        JS 
                    0.285                     0.069 
[1] 0
[1] Inf

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (przykład bez dodatkowych pakietów); rysunki wykonano w pakiecie ggplot2, panele połączono pakietem patchwork, a pliki zapisano pakietem svglite. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  4. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Najczęstsze pytania

Dlaczego dywergencja Kullbacka–Leiblera nie jest odległością?

Bo nie jest symetryczna: D(P‖Q) zwykle różni się od D(Q‖P), i nie spełnia nierówności trójkąta. W przykładzie wartości wynoszą 0.285 i 0.296 nata.

Co zrobić, gdy dywergencja KL wychodzi nieskończona?

Oznacza to zero w rozkładzie Q w kategorii, która występuje w P. Można użyć dywergencji Jensena–Shannona, połączyć rzadkie kategorie albo wygładzić częstości i opisać to w pracy.

Jaki jest związek dywergencji KL z AIC?

AIC szacuje względną utratę informacji mierzoną dywergencją KL między prawdziwym procesem a modelem. Dlatego model o niższym AIC uznaje się za lepsze przybliżenie danych.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. The Annals of Mathematical Statistics, 22(1), 79–86. https://doi.org/10.1214/aoms/1177729694 ● Otwarty dostęp
  2. Lin, J. (1991). Divergence measures based on the Shannon entropy. IEEE Transactions on Information Theory, 37(1), 145–151. https://doi.org/10.1109/18.61115

Cytowania BibTeX

@article{kullback1951information, author={Kullback, S. and Leibler, R. A.}, title={{On information and sufficiency}}, journal={The Annals of Mathematical Statistics}, year={1951}, volume={22}, number={1}, pages={79--86}, doi={10.1214/aoms/1177729694}}
@article{lin1991divergence, author={Lin, J.}, title={{Divergence measures based on the Shannon entropy}}, journal={IEEE Transactions on Information Theory}, year={1991}, volume={37}, number={1}, pages={145--151}, doi={10.1109/18.61115}}
R