Słownik metodologiczny · Ludzie statystyki

Solomon Kullback i Richard Leibler – kim byli i co wnieśli do statystyki

Solomon Kullback i Richard Leibler w 1951 r. zaproponowali miarę informacji do odróżniania dwóch rozkładów – dywergencję Kullbacka–Leiblera, na której opiera się m.in. AIC. Przedstawiamy ich biografie naukowe, kryptologiczny rozdział życia Kullbacka, oś czasu i przykład w R: Poisson czy ujemny dwumianowy dla dni nieobecności w szkole.

Strona główna / Słownik / Solomon Kullback i Richard Leibler
W skrócie: Solomon Kullback i Richard Leibler – amerykańscy matematycy, autorzy artykułu z 1951 r., w którym zaproponowali miarę informacji do odróżniania dwóch rozkładów, znaną dziś jako dywergencja Kullbacka–Leiblera. Kullback, wcześniej kryptolog zatrudniony przez Williama Friedmana, rozwinął ją w książce „Information Theory and Statistics” (1959) i zakończył karierę jako profesor George Washington University.

Kim byli Solomon Kullback i Richard Leibler?

Solomon Kullback zaczynał jako nauczyciel matematyki w szkole średniej, a karierę zakończył jako profesor George Washington University (McIntire, 2021). Pomiędzy tymi etapami był kryptologiem w służbie rządu USA. Gdy w 1930 r. William Friedman ogłosił nabór trzech „matematyków rządowych” do mało znanej agencji armii USA, wybrał właśnie Kullbacka, obok Franka Rowletta i Abrahama Sinkova (Grajek, 2020). Doktorat z matematyki Kullback obronił w 1934 r. na George Washington University – rozprawę o zastosowaniu funkcji charakterystycznych do rozkładów statystyk napisał pod kierunkiem Franka M. Weidy (Mathematics Genealogy Project, 2026).

Richard Arthur Leibler był matematykiem z wykształcenia: doktorat uzyskał w 1939 r. na University of Illinois za pracę o nieliniowych osobliwych układach równań różniczkowych, pisaną u Waldemara Trjitzinsky’ego (Mathematics Genealogy Project, 2026). Źródła, do których dotarliśmy, mówią o jego dalszej karierze niewiele, dlatego opisujemy go przede wszystkim jako współautora pracy z 1951 r.

Najważniejsze pomysły

  • Dywergencja Kullbacka–Leiblera (1951). W krótkim artykule „On Information and Sufficiency” w The Annals of Mathematical Statistics autorzy zaproponowali miarę informacji, która służy do odróżniania dwóch rozkładów prawdopodobieństwa (Kullback i Leibler, 1951). Dziś to dywergencja KL, zwana też entropią względną: D(P ‖ Q) = Σ p ln(p/q). Jest nieujemna, równa zeru tylko dla identycznych rozkładów i niesymetryczna.
  • Teoria informacji w statystyce. W książce „Information Theory and Statistics” (Kullback, 1959), wydanej przez Wileya, a potem wznawianej przez Dover (1968 i 1997), Kullback rozwinął związki statystyki z teorią informacji Claude’a Shannona, w której centralne są entropia i informacja wzajemna.
  • Pomost do wyboru modeli. Minimalizowanie dywergencji KL między danymi a modelem to to samo, co maksymalizowanie wiarygodności (pokazujemy to niżej). Na tej obserwacji Hirotugu Akaike oparł swoje kryterium AIC.

Ciekawostka

Współautor jednej z najważniejszych miar teorii informacji przez lata łamał szyfry. Grajek (2020) przytacza wspomnienia pierwszej trójki ludzi Friedmana: przez pierwsze lata ich zajęcia były dość dalekie od matematyki, choć zatrudniono ich właśnie jako matematyków. W czasie wojny Kullback został na trzy miesiące oddelegowany do Bletchley Park, gdzie poznał brytyjskie prace nad Enigmą i szyfrem Tunny; Shiu (2025) zalicza go – obok Edwarda Simpsona – do kryptologów, którzy później stali się znanymi statystykami.

Nic dziwnego, że artykuł McIntire (2021) o jego życiu nosi tytuł „The Secret Career of Solomon Kullback” – sekretna kariera.

Przykład: dni nieobecności w szkole

Zbiór quine z pakietu MASS opisuje 146 dzieci z Walgett w Nowej Południowej Walii (Australia): dla każdego zapisano liczbę dni nieobecności w szkole w jednym roku szkolnym (opis w pliku pomocy). Średnia to 16.46 dnia, a wariancja 264.17 – szesnaście razy większa, czyli silna nadmierna dyspersja. Metodą największej wiarygodności dopasowaliśmy rozkład Poissona (λ = 16.46) i ujemny dwumianowy (size = 1.067, μ = 16.459).

Dywergencja rozkładu empirycznego od modelu wynosi 5.604 nata dla Poissona i 0.318 nata dla ujemnego dwumianowego. Odwrotny kierunek, KL(model ‖ dane), jest nieskończony: model daje dodatnie prawdopodobieństwo np. 26 dniom nieobecności, których nie miało żadne dziecko. Różnica dywergencji pomnożona przez n = 146 daje 771.87 – dokładnie tyle samo, co różnica logarytmów wiarygodności obu modeli. AIC spada z 2664.01 (Poisson) do 1122.27 (ujemny dwumianowy). Także między samymi modelami widać asymetrię: KL(ujemny dwumianowy ‖ Poisson) = 5.292, a KL(Poisson ‖ ujemny dwumianowy) = 0.983 nata.

Na rysunku

Pozioma oś czasu od 1925 do 1975 z sześcioma zdarzeniami: 1930 nabór Friedmana do armii USA, wybrany m.in. Kullback; 1934 doktorat Kullbacka (George Washington University); 1939 doktorat Leiblera (University of Illinois); 1951 artykuł On Information and Sufficiency; 1959 książka Information Theory and Statistics; 1968 przedruk książki (Dover). Osobę oznaczają kształt i kolor znacznika: niebieskie koło – Kullback, zielony trójkąt – Leibler, pomarańczowy romb – praca wspólna
Rysunek 1. Oś czasu: Solomon Kullback i Richard Leibler. Lata według Grajka (2020), Mathematics Genealogy Project (2026), Kullbacka i Leiblera (1951) oraz katalogowych opisów wydań książki Kullbacka (1959). Rysunek: R, pakiet ggplot2.

Co widać. Obaj doszli do statystyki z matematyki czystej; jedyna wspólna publikacja, z 1951 r., stoi pośrodku osi. Kullback rozwijał jej idee przez następne dekady.

Na co uważać. Oś zawiera tylko daty z cytowanych źródeł. Nie zaznaczamy dat urodzenia i śmierci ani etapów pracy w wywiadzie, bo nie potwierdziliśmy ich w źródłach, które przeczytaliśmy; rok 1930 to rok naboru ogłoszonego przez Friedmana.

Podpis do pracy:

Rysunek 1. Najważniejsze daty z pracy Solomona Kullbacka i Richarda Leiblera, 1930–1968. Uwaga. Kształt znacznika oznacza osobę (koło – Kullback, trójkąt – Leibler, romb – praca wspólna).
Dwa panele. A: szare słupki – odsetek dzieci z daną liczbą dni nieobecności od 0 do 81, bardzo nieregularne, z najwyższym słupkiem przy 5 dniach; pomarańczowa przerywana linia z trójkątami – rozkład Poissona z wąskim szczytem przy 16 dniach; niebieska ciągła linia z kołami – rozkład ujemny dwumianowy malejący od zera i z długim ogonem. B: poziome słupki dywergencji KL w natach: dane względem Poissona 5.604, dane względem ujemnego dwumianowego 0.318 (pomarańczowe), ujemny dwumianowy względem Poissona 5.292, Poisson względem ujemnego dwumianowego 0.983 (szare)
Rysunek 2. Dni nieobecności w szkole 146 dzieci (zbiór MASS::quine) z dopasowanymi rozkładami Poissona i ujemnym dwumianowym (A) oraz dywergencja Kullbacka–Leiblera w obu kierunkach (B). Obliczenia i rysunek: R, pakiety MASS, ggplot2 i patchwork (bez losowania).

Co widać. Rozkład Poissona skupia prawie całą masę między 8 a 25 dniami, a dane mają dużo dzieci z kilkoma dniami nieobecności i długi ogon do 81 dni – stąd ogromna dywergencja. Ujemny dwumianowy oddaje kształt znacznie lepiej. Panel B pokazuje asymetrię: przybliżanie szerokiego rozkładu wąskim (ujemny dwumianowy ‖ Poisson) kosztuje ponad pięć razy więcej niż odwrotnie.

Na co uważać. Dywergencja danych od modelu zależy od tego, jak szczegółowo pogrupujesz wartości; tu każda liczba dni to osobna kategoria, więc nawet dobry model ma dywergencję wyraźnie większą od zera. Do porównania modeli wystarcza różnica dywergencji (czyli różnica wiarygodności), a jej istotność sprawdza test ilorazu wiarygodności. Kierunek KL(model ‖ dane) z rozkładem empirycznym zwykle nie ma sensu, bo wychodzi nieskończony.

Podpis do pracy:

Rysunek 2. Rozkład liczby dni nieobecności w szkole (n = 146) z dopasowanymi metodą największej wiarygodności rozkładami Poissona i ujemnym dwumianowym (A) oraz dywergencja Kullbacka–Leiblera między rozkładem empirycznym a modelami i między modelami (B). Uwaga. Dywergencja w natach; KL(P ‖ Q) mierzy utratę informacji przy opisie rozkładu P rozkładem Q. Dywergencja modelu od rozkładu empirycznego jest nieskończona, bo modele przypisują dodatnie prawdopodobieństwo wartościom niewystępującym w danych.

Gdzie spotkasz Kullbacka i Leiblera w swojej pracy

  • Wybór modelu. AIC i wagi Akaikego szacują względną utratę informacji w sensie KL – im niższe AIC, tym bliżej (w przybliżeniu) prawdziwego rozkładu.
  • Dane zliczeniowe. Wybierając między regresją Poissona a regresją ujemną dwumianową, porównujesz w istocie dywergencje obu modeli od danych.
  • Tabele i informacja. Informacja wzajemna to dywergencja KL rozkładu łącznego od iloczynu rozkładów brzegowych, a statystyka G – ta sama wielkość razy 2N.

Spory, mity i trudne strony

  • To nie jest odległość. Mimo potocznej nazwy „odległość Kullbacka–Leiblera” miara jest niesymetryczna i nie spełnia nierówności trójkąta; trzeba zawsze podać kierunek.
  • Dwie biografie, nierówne źródła. O Kullbacku piszą historycy kryptologii (Grajek, 2020; Shiu, 2025) i statystyki (McIntire, 2021). O Leiblerze w recenzowanych źródłach jest bardzo mało, więc nie powtarzamy niesprawdzonych informacji o jego karierze.
  • Tajność. Część pracy Kullbacka była objęta tajemnicą, a o jego pobycie w Bletchley Park Shiu (2025) pisze na podstawie wywiadu, którego Kullback udzielił w 1982 r.
Przykład reprodukowalny

Kullback i Leibler w R

Kod rysuje oś czasu, dopasowuje do liczby dni nieobecności rozkład Poissona i ujemny dwumianowy, liczy dywergencję KL rozkładu empirycznego od obu modeli i w odwrotnym kierunku, sprawdza związek z wiarygodnością i AIC oraz liczy dywergencję między modelami w obu kierunkach. Rysunki na stronie powstały z tych samych obiektów p_os i p_metoda z krojem i tłem serwisu; dane, geometrie i skale są identyczne.

liczebność, średnią i wariancję, parametry ujemnego rozkładu dwumianowego, dywergencje KL w natach, różnicę logarytmów wiarygodności, AIC obu modeli i dywergencje między modelami.

Dane wejściowe: Oś czasu i dywergencja KL dla zbioru quine

Co odczytać: data(quine, package = "MASS") – liczba dni nieobecności w szkole 146 dzieci z Walgett (Nowa Południowa Walia); daty osi czasu z cytowanych źródeł; bez losowania.

Kod R rysunków 1 i 2
# Kullback i Leibler: oś czasu i dywergencja KL między rozkładem empirycznym a modelami Poissona i ujemnym dwumianowym (MASS::quine)
suppressPackageStartupMessages({library(ggplot2); library(patchwork); library(MASS)})
oi <- c(niebieski = "#0072B2", pomaranczowy = "#E69F00", cynober = "#D55E00", zielony = "#009E73", szary = "grey45")  # Okabe–Ito
motyw <- theme_minimal(base_size = 13) + theme(panel.grid.minor = element_blank(), plot.title = element_text(face = "bold"))

# 1. Oś czasu (lata według Grajka 2020, Mathematics Genealogy Project, Kullbacka i Leiblera 1951 oraz katalogu wydań książki Kullbacka)
zdarzenia <- data.frame(
  rok = c(1930, 1934, 1939, 1951, 1959, 1968),
  osoba = c("Kullback", "Kullback", "Leibler", "obaj", "Kullback", "Kullback"),
  opis = c("nabór Friedmana do armii USA;\nwybrany m.in. Kullback", "doktorat Kullbacka\n(George Washington Univ.)", "doktorat Leiblera\n(Univ. of Illinois)",
           "„On Information\nand Sufficiency”", "książka „Information\nTheory and Statistics”", "przedruk książki\n(Dover)"))
zdarzenia$osoba <- factor(zdarzenia$osoba, levels = c("Kullback", "obaj", "Leibler"))
zdarzenia$y <- c(1.6, -1.3, 0.8, 1.3, -1.3, 1.3)    # wysokość etykiet, żeby się nie nakładały
p_os <- ggplot(zdarzenia, aes(rok, 0)) +
  geom_hline(yintercept = 0, colour = "grey60") +
  geom_segment(aes(xend = rok, yend = y * 0.75), colour = "grey70") +
  geom_point(aes(shape = osoba, fill = osoba), size = 3.8) +
  geom_label(aes(y = y, label = paste0(rok, "\n", opis)), size = 3.2, lineheight = 0.9, linewidth = 0.2) +
  scale_shape_manual(values = c(Kullback = 21, obaj = 23, Leibler = 24), name = NULL) +
  scale_fill_manual(values = c(Kullback = oi[["niebieski"]], obaj = oi[["pomaranczowy"]], Leibler = oi[["zielony"]]), name = NULL) +
  scale_x_continuous(breaks = seq(1930, 1970, 10), limits = c(1922, 1976)) + scale_y_continuous(limits = c(-2, 2)) +
  labs(title = "Solomon Kullback i Richard Leibler – najważniejsze daty", x = NULL, y = NULL) +
  motyw + theme(axis.text.y = element_blank(), panel.grid.major.y = element_blank(), legend.position = "bottom")

# 2. Dane: liczba dni nieobecności w szkole (146 dzieci z Walgett, Nowa Południowa Walia)
data(quine, package = "MASS")
dni <- quine$Days
n <- length(dni)
c(n = n, srednia = round(mean(dni), 2), wariancja = round(var(dni), 2), zera = sum(dni == 0))
# Dopasowanie metodą największej wiarygodności
lambda <- mean(dni)                                      # Poisson: ML to średnia
nb <- suppressWarnings(fitdistr(dni, "negative binomial"))   # ujemny dwumianowy: size i mu (ostrzeżenia z kroków optymalizacji pominięte)
round(nb$estimate, 3)

# 3. Dywergencja KL(P || Q) = sum p * log(p / q) w natach; P – rozkład empiryczny
licz <- table(dni); k <- as.numeric(names(licz)); p_emp <- as.numeric(licz) / n
f_pois <- dpois(k, lambda)
f_nb <- dnbinom(k, size = nb$estimate[["size"]], mu = nb$estimate[["mu"]])
KL <- function(p, q) sum(ifelse(p > 0, p * log(p / q), 0))
KL_emp_pois <- KL(p_emp, f_pois); KL_emp_nb <- KL(p_emp, f_nb)
round(c(KL_emp_Poisson = KL_emp_pois, KL_emp_ujemny_dwumianowy = KL_emp_nb), 4)
# Odwrotny kierunek KL(model || empiryczny): model daje szansę dniom, których nikt nie miał (np. 26), więc wynik jest nieskończony
siatka <- 0:400
p_emp_siatka <- tabulate(dni + 1, nbins = length(siatka)) / n
KL(dpois(siatka, lambda), p_emp_siatka)
# Związek z wiarygodnością: n * [KL(emp || Poisson) - KL(emp || NB)] = logL(NB) - logL(Poisson)
logL_pois <- sum(dpois(dni, lambda, log = TRUE)); logL_nb <- nb$loglik
round(c(n_razy_roznica_KL = n * (KL_emp_pois - KL_emp_nb), roznica_logL = logL_nb - logL_pois,
        AIC_Poisson = -2 * logL_pois + 2 * 1, AIC_ujemny_dwumianowy = -2 * logL_nb + 2 * 2), 2)
# Asymetria między dwoma dopasowanymi modelami (oba mają masę na całej siatce 0–400).
# Liczymy na logarytmach gęstości, bo daleko w ogonie prawdopodobieństwa Poissona są mniejsze niż najmniejsza liczba w komputerze.
KL_log <- function(lp, lq) sum(exp(lp) * (lp - lq))
lq_pois <- dpois(siatka, lambda, log = TRUE)
lq_nb <- dnbinom(siatka, size = nb$estimate[["size"]], mu = nb$estimate[["mu"]], log = TRUE)
KL_nb_pois <- KL_log(lq_nb, lq_pois); KL_pois_nb <- KL_log(lq_pois, lq_nb)
round(c(KL_NB_od_Poissona = KL_nb_pois, KL_Poisson_od_NB = KL_pois_nb), 3)

# Rysunek 2A: rozkład empiryczny i dwa modele
krzywe <- rbind(data.frame(dni = 0:85, p = dpois(0:85, lambda), model = "Poisson"),
                data.frame(dni = 0:85, p = dnbinom(0:85, size = nb$estimate[["size"]], mu = nb$estimate[["mu"]]), model = "ujemny dwumianowy"))
pA <- ggplot() +
  geom_col(data = data.frame(dni = k, p = p_emp), aes(dni, p), fill = "grey75", colour = "grey40", width = 0.8) +
  geom_line(data = krzywe, aes(dni, p, colour = model, linetype = model), linewidth = 0.9) +
  geom_point(data = krzywe[krzywe$dni %% 5 == 0, ], aes(dni, p, colour = model, shape = model), size = 2.2) +
  scale_colour_manual(values = c(Poisson = oi[["cynober"]], "ujemny dwumianowy" = oi[["niebieski"]]), name = NULL) +
  scale_linetype_manual(values = c(Poisson = "dashed", "ujemny dwumianowy" = "solid"), name = NULL) +
  scale_shape_manual(values = c(Poisson = 17, "ujemny dwumianowy" = 16), name = NULL) +
  labs(title = "A. Dni nieobecności: dane (słupki) i modele", x = "Dni nieobecności w roku szkolnym", y = "Odsetek dzieci / prawdopodobieństwo") +
  motyw + theme(legend.position = "bottom")
# Rysunek 2B: wartości dywergencji w obu kierunkach
kl_tab <- data.frame(
  para = factor(c("dane ‖ Poisson", "dane ‖ ujemny dwum.", "ujemny dwum. ‖ Poisson", "Poisson ‖ ujemny dwum."),
                levels = rev(c("dane ‖ Poisson", "dane ‖ ujemny dwum.", "ujemny dwum. ‖ Poisson", "Poisson ‖ ujemny dwum."))),
  KL = c(KL_emp_pois, KL_emp_nb, KL_nb_pois, KL_pois_nb),
  rodzaj = c("dane od modelu", "dane od modelu", "model od modelu", "model od modelu"))
pB <- ggplot(kl_tab, aes(KL, para, fill = rodzaj)) +
  geom_col(width = 0.6, colour = "grey20") +
  geom_text(aes(label = sprintf("%.3f", KL)), hjust = -0.15, size = 3.4) +
  scale_fill_manual(values = c("dane od modelu" = oi[["pomaranczowy"]], "model od modelu" = "grey80"), name = NULL) +
  scale_x_continuous(limits = c(0, max(kl_tab$KL) * 1.25)) +
  labs(title = "B. Dywergencja KL (naty)", subtitle = "KL(P ‖ Q): P – pierwszy rozkład, Q – drugi", x = "KL(P ‖ Q)", y = NULL) +
  motyw + theme(legend.position = "bottom")
p_metoda <- pA + pB + plot_layout(widths = c(1.15, 1))
p_os
p_metoda
Wynik w R
        n   srednia wariancja      zera 
   146.00     16.46    264.17      9.00 
  size     mu 
 1.067 16.459 
          KL_emp_Poisson KL_emp_ujemny_dwumianowy 
                  5.6044                   0.3176 
[1] Inf
    n_razy_roznica_KL          roznica_logL           AIC_Poisson 
               771.87                771.87               2664.01 
AIC_ujemny_dwumianowy 
              1122.27 
KL_NB_od_Poissona  KL_Poisson_od_NB 
            5.292             0.983 

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (dane i dopasowanie rozkładu ujemnego dwumianowego – pakiet MASS, funkcja fitdistr(); rysunki – pakiety ggplot2 i patchwork). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. MASS (wersja 7.3.65): Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4th ed.). Springer. https://doi.org/10.1007/978-0-387-21706-2
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  4. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork

Najczęstsze pytania

Kim byli Kullback i Leibler?

Amerykańskimi matematykami. Solomon Kullback zaczynał jako nauczyciel, w 1930 r. trafił do zespołu kryptologów Williama Friedmana, a karierę zakończył jako profesor George Washington University. Richard Leibler obronił doktorat z matematyki na University of Illinois w 1939 r. W 1951 r. wspólnie opisali miarę nazywaną dziś dywergencją Kullbacka–Leiblera.

Skąd nazwa „dywergencja Kullbacka–Leiblera”?

Od nazwisk autorów artykułu „On Information and Sufficiency” z 1951 r., opublikowanego w czasopiśmie The Annals of Mathematical Statistics. Zaproponowali w nim miarę informacji służącą do odróżniania dwóch rozkładów prawdopodobieństwa. Ta sama wielkość bywa nazywana entropią względną.

Dlaczego dywergencja KL nie jest odległością?

Bo jest niesymetryczna: KL(P ‖ Q) zwykle różni się od KL(Q ‖ P), i nie spełnia nierówności trójkąta. W przykładzie z dniami nieobecności w szkole KL(ujemny dwumianowy ‖ Poisson) = 5.29, a w odwrotnym kierunku 0.98 nata.

Co łączy pracę Kullbacka i Leiblera z kryterium Akaikego?

Dopasowanie modelu metodą największej wiarygodności minimalizuje dywergencję KL rozkładu empirycznego od modelu: różnica dywergencji dwóch modeli razy n to różnica ich logarytmów wiarygodności. Akaike oparł na tej idei swoje kryterium AIC, które szacuje względną utratę informacji przez model.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Grajek, M. (2020). Dawn of mathematical cryptology: Probabilists vs algebraists; algebraists and probabilists? In Proceedings of the 3rd International Conference on Historical Cryptology HistoCrypt 2020 (pp. 70–76). Linköping University Electronic Press. https://doi.org/10.3384/ecp2020171010 ● Otwarty dostęp: pełny tekst
  2. Kullback, S. (1959). Information theory and statistics. Wiley.
  3. Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. The Annals of Mathematical Statistics, 22(1), 79–86. https://doi.org/10.1214/aoms/1177729694 ● Otwarty dostęp
  4. Mathematics Genealogy Project. (2026). Solomon Kullback; Richard Arthur Leibler. North Dakota State University, Department of Mathematics. https://mathgenealogy.org/id.php?id=13292 ● Otwarty dostęp
  5. McIntire, B. (2021). The secret career of Solomon Kullback. CHANCE, 34(2), 18–23. https://doi.org/10.1080/09332480.2021.1915029
  6. Shiu, D. (2025). The influence of Bletchley Park on UK mathematics. Cryptologia, 49(4), 372–387. https://doi.org/10.1080/01611194.2025.2457086 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@inproceedings{grajek2020dawn, author={Grajek, Marek}, title={{Dawn of mathematical cryptology: Probabilists vs algebraists; algebraists and probabilists?}}, booktitle={Proceedings of the 3rd International Conference on Historical Cryptology HistoCrypt 2020}, year={2020}, pages={70--76}, publisher={Linköping University Electronic Press}, doi={10.3384/ecp2020171010}}
@book{kullback1959information, author={Kullback, Solomon}, title={{Information theory and statistics}}, year={1959}, publisher={Wiley}, url={https://lccn.loc.gov/59005881}}
@article{kullback1951information, author={Kullback, S. and Leibler, R. A.}, title={{On information and sufficiency}}, journal={The Annals of Mathematical Statistics}, year={1951}, volume={22}, number={1}, pages={79--86}, doi={10.1214/aoms/1177729694}}
@misc{mgp2026kullbackleibler, author={{Mathematics Genealogy Project}}, title={{Solomon Kullback; Richard Arthur Leibler}}, year={2026}, publisher={North Dakota State University, Department of Mathematics}, url={https://mathgenealogy.org/id.php?id=13292}}
@article{mcintire2021secret, author={McIntire, B.}, title={{The secret career of Solomon Kullback}}, journal={CHANCE}, year={2021}, volume={34}, number={2}, pages={18--23}, doi={10.1080/09332480.2021.1915029}}
@article{shiu2025influence, author={Shiu, Daniel}, title={{The influence of Bletchley Park on UK mathematics}}, journal={Cryptologia}, year={2025}, volume={49}, number={4}, pages={372--387}, doi={10.1080/01611194.2025.2457086}}
R