Kim był Claude Shannon?
Claude Elwood Shannon (1916–2001) urodził się 30 kwietnia 1916 r. w Petoskey w stanie Michigan i dorastał w pobliskim Gaylord. Już jako chłopiec budował urządzenia mechaniczne i elektryczne. W 1936 r. ukończył University of Michigan z dwoma dyplomami – z elektrotechniki i z matematyki – i został asystentem w MIT, gdzie obsługiwał analizator różniczkowy Vannevara Busha (Sloane i Wyner, 1993).
W MIT napisał pracę magisterską o zastosowaniu algebry Boole’a do obwodów przekaźnikowych, opublikowaną w 1938 r. i wyróżnioną w 1940 r. nagrodą Alfreda Noble’a; w tym samym roku uzyskał doktorat z matematyki za rozprawę o algebrze dla genetyki teoretycznej. Rok akademicki 1940/1941 spędził w Institute for Advanced Study w Princeton, a potem przez około piętnaście lat pracował w Bell Telephone Laboratories – w czasie wojny m.in. nad kierowaniem ogniem przeciwlotniczym. W 1956 r. wrócił do MIT jako profesor wizytujący, a od 1957 r. był tam profesorem na stałe; z Bell Labs pozostał związany do 1 lipca 1972 r. (Sloane i Wyner, 1993). Zmarł 24 lutego 2001 r. (James, 2009).
Najważniejsze pomysły
- Teoria informacji. W dwuczęściowym artykule „A Mathematical Theory of Communication” (Shannon, 1948) uznał, że podstawowym problemem komunikacji jest odtworzenie w jednym miejscu wiadomości wybranej w innym, a znaczenie wiadomości nie ma dla tego inżynierskiego problemu znaczenia. Liczy się to, że wiadomość jest jedną z wielu możliwych. Gallager (2001) pokazuje, jak z tej pracy wyrosły zasady, na których opiera się cała łączność cyfrowa.
- Entropia. Miarą niepewności źródła jest entropia H = −Σ pi log pi. Shannon zauważył, że ma ona postać entropii z mechaniki statystycznej – tej samej, co H w twierdzeniu Boltzmanna – i stąd wziął nazwę (Shannon, 1948).
- Bit. Przy logarytmie o podstawie 2 jednostką są „binary digits”, w skrócie bity – słowo, które według Shannona (1948) zaproponował John Tukey.
- Kodowanie i nadmiarowość. Twierdzenie o kanale bez szumu mówi, że średnio nie da się zakodować źródła krótszym zapisem niż H bitów na symbol, ale można się do tej granicy dowolnie zbliżyć. Nadmiarowość zwykłej angielszczyzny oszacował na około 50% (Shannon, 1948).
Ciekawostka
Shannon był znany z zamiłowania do zabawek, które sam konstruował. Sloane i Wyner (1993) opisują jego żonglerkę i jazdę na monocyklu – nauczył się żonglować trzema piłkami, jadąc na nim – a także maszynę, która żongluje trzema piłkami, odbijając je od membrany bębna, mysz Tezeusza (1950), która uczyła się drogi w labiryncie, i kalkulator THROBAC liczący w cyfrach rzymskich. Najsłynniejsza była „maszyna ostateczna”: skrzynka z jednym przełącznikiem, z której po włączeniu wysuwa się ręka i wyłącza przełącznik. Według tych autorów zbudował ją na początku lat 50. na podstawie pomysłu Marvina Minsky’ego.
Monocykl przeszedł do legendy MIT. James (2009) przytacza nekrolog z „The Times”, w którym przypomniano, że koledzy ostrzegali się nawzajem przed Shannonem nadjeżdżającym korytarzem na monocyklu – i że trudno było uwierzyć, iż ktoś tak skory do zabawy zrobi poważną naukę.
Przykład: kolor oczu i włosów w bitach
Zbiór HairEyeColor z pakietu datasets to tabela krzyżowa koloru włosów i oczu 592 studentów statystyki z ankiety na University of Delaware (opis w pliku pomocy; podział na płeć dodano później do celów dydaktycznych, więc go sumujemy). Kategorie zostawiamy w oryginale: Black, Brown, Red, Blond (włosy) oraz Brown, Blue, Hazel, Green (oczy). To dwie zmienne na skali nominalnej – dla nich miary Shannona są naturalne.
Entropia koloru oczu wynosi 1.828 bita, a koloru włosów 1.798 bita (maksimum dla czterech kategorii to 2 bity). Gdy znamy kolor włosów, niepewność koloru oczu spada średnio do 1.649 bita, więc informacja wzajemna wynosi 0.178 bita, a współczynnik niepewności U = 0.098. Ta sama informacja wyrażona testem: G = 2N·I (w natach) = 146.44, df = 9, p < .001, blisko chi-kwadrat Pearsona (138.29) – zob. test G.
Druga część przykładu to pomysł Shannona w działaniu: kod o zmiennej długości. Dla jego własnego przykładu z 1948 r. (cztery symbole z prawdopodobieństwami 1/2, 1/4, 1/8, 1/8) kod Huffmana ma średnio dokładnie 1.75 bita – tyle, ile wynosi entropia. Dla koloru oczu najczęstszy brązowy dostaje 1 bit, niebieski 2, piwny i zielony po 3; średnio 1.894 bita na osobę, mniej niż 2 bity kodu o stałej długości, ale więcej niż granica 1.828.
Na rysunku
Co widać. Dwa przełomy dzieli dziesięć lat: praca magisterska z 1938 r. dała elektronice cyfrowej algebrę obwodów, a artykuł z 1948 r. – miarę informacji.
Na co uważać. Na osi są tylko daty z cytowanych źródeł. Biografia Sloane’a i Wynera powstała przed śmiercią Shannona; datę śmierci podajemy za Jamesem (2009).
Podpis do pracy:
HairEyeColor. Obliczenia i rysunek: R, pakiety ggplot2 i patchwork (bez losowania).Co widać. Panel A: u blondynów kolor oczu jest najbardziej przewidywalny (1.22 bita, przeważają niebieskie), u rudych – najmniej (1.95 bita, prawie jak cztery równie częste kolory). Średnia ważona tych wartości to entropia warunkowa 1.649 bita; odstęp do 1.828 to informacja wzajemna 0.178 bita. Panel B: kod Huffmana przydziela krótkie słowa częstym kolorom; długości są całkowite, więc nie trafiają dokładnie w −log2 p, a średnia (1.894) leży tuż nad entropią.
Na co uważać. Entropia z próby jest obciążona w dół, zwłaszcza w małych grupach (tu rudych jest tylko 71). Brązowe i niebieskie oczy są prawie równie częste (37.2% i 36.3%), a mimo to dostają słowa o różnej długości – kod jest optymalny dla całego rozkładu, nie dla każdego symbolu. Rozkład warunkowy lepiej widać na wykresie mozaikowym niż w jednej liczbie.
Podpis do pracy:
Gdzie spotkasz Shannona w swojej pracy
- Opis zmiennych kategorialnych. Entropia opisuje zróżnicowanie odpowiedzi jedną liczbą – tam, gdzie odchylenie standardowe nie ma sensu.
- Związek dwóch zmiennych. W tabeli krzyżowej obok V Craméra możesz podać informację wzajemną albo współczynnik niepewności Theila; test G to ta sama informacja przemnożona przez 2N.
- Wybór modelu. Z idei Shannona wyrosła dywergencja Kullbacka–Leiblera (zob. Kullback i Leibler), a z niej kryterium AIC Hirotugu Akaikego.
Spory, mity i trudne strony
- Informacja to nie znaczenie. Shannon (1948) wprost wyłączył semantykę z problemu inżynierskiego. Entropia mierzy niepewność wyboru, a nie wartość czy sens wiadomości.
- Kto wymyślił bit? Pojęcie jednostki informacji pochodzi od Shannona, ale samo słowo „bit” – jak sam napisał – podsunął mu John Tukey (Shannon, 1948). Nekrolog z „The Times” przypisał mu wynalezienie bitu (James, 2009), co jest skrótem myślowym.
- Skąd entropia? Nazwę Shannon uzasadnił podobieństwem wzoru do entropii w mechanice statystycznej (Shannon, 1948). Podobieństwo jest formalne – entropia z ankiety nie dotyczy termodynamiki.
Shannon w R
Kod rysuje oś czasu, liczy entropie, informację wzajemną i test G dla tabeli kolor włosów × kolor oczu, a następnie buduje kod Huffmana – dla przykładu z artykułu Shannona i dla koloru oczu – i porównuje średnią długość słowa z entropią. Rysunki na stronie powstały z tych samych obiektów p_os i p_metoda z krojem i tłem serwisu; dane, geometrie i skale są identyczne.
entropie (bity), entropię warunkową, informację wzajemną, współczynnik niepewności, entropię koloru oczu w grupach, test G z chi-kwadrat Pearsona oraz długości słów kodu Huffmana i ich średnią.
Kod R rysunków 1 i 2
# Claude Shannon: oś czasu, entropia i informacja wzajemna (dane HairEyeColor) oraz kod o średniej długości bliskiej entropii
suppressPackageStartupMessages({library(ggplot2); library(patchwork)})
oi <- c(niebieski = "#0072B2", pomaranczowy = "#E69F00", cynober = "#D55E00", zielony = "#009E73", szary = "grey45") # Okabe–Ito
motyw <- theme_minimal(base_size = 13) + theme(panel.grid.minor = element_blank(), plot.title = element_text(face = "bold"))
# 1. Oś czasu (lata według Sloane'a i Wynera 1993, Shannona 1948 i Jamesa 2009)
zdarzenia <- data.frame(
rok = c(1916, 1936, 1938, 1940, 1948, 1950, 1957, 1966, 1972, 2001),
opis = c("urodzony w Petoskey\n(Michigan)", "dyplomy z elektrotechniki\ni matematyki (Michigan)", "praca magisterska:\nalgebra Boole'a w obwodach",
"doktorat w MIT\n(genetyka)", "„A Mathematical Theory\nof Communication”", "mysz Tezeusz\nw labiryncie",
"profesor MIT", "National Medal\nof Science", "koniec związku\nz Bell Labs", "zmarł"),
rodzaj = c("życie", "nauka", "publikacja", "nauka", "publikacja", "pomysł", "praca", "nagroda", "praca", "życie"))
zdarzenia$y <- c(1.2, -1, 2.1, -2, 1.2, -1, 2.1, -2, 1.2, -1) # wysokość etykiet, żeby się nie nakładały
p_os <- ggplot(zdarzenia, aes(rok, 0)) +
geom_hline(yintercept = 0, colour = "grey60") +
geom_segment(aes(xend = rok, yend = y * 0.8), colour = "grey70") +
geom_point(aes(shape = rodzaj, fill = rodzaj), size = 3.5) +
geom_label(aes(y = y, label = paste0(rok, "\n", opis)), size = 3.1, lineheight = 0.9, linewidth = 0.2) +
scale_shape_manual(values = c("życie" = 21, "nauka" = 22, "praca" = 24, "publikacja" = 25, "pomysł" = 23, "nagroda" = 8), name = NULL) +
scale_fill_manual(values = c("życie" = oi[["szary"]], "nauka" = oi[["zielony"]], "praca" = oi[["niebieski"]],
"publikacja" = oi[["cynober"]], "pomysł" = oi[["pomaranczowy"]], "nagroda" = "black"), name = NULL) +
scale_x_continuous(breaks = seq(1920, 2000, 10), limits = c(1908, 2009)) + scale_y_continuous(limits = c(-2.5, 2.6)) +
labs(title = "Claude Shannon (1916–2001)", x = NULL, y = NULL) +
motyw + theme(axis.text.y = element_blank(), panel.grid.major.y = element_blank(), legend.position = "bottom")
# 2. Entropia w bitach: H = -sum(p * log2(p))
H <- function(p) { p <- p[p > 0] / sum(p); -sum(p * log2(p)) }
data(HairEyeColor, package = "datasets")
tab <- margin.table(HairEyeColor, c(1, 2)) # kolor włosów × kolor oczu, suma po płci (tabela Snee'ego)
N <- sum(tab)
tab
H_wlosy <- H(rowSums(tab)); H_oczy <- H(colSums(tab)); H_razem <- H(tab)
I_wz <- H_wlosy + H_oczy - H_razem # informacja wzajemna I(włosy; oczy)
H_oczy_dane_wlosy <- H_razem - H_wlosy # entropia warunkowa H(oczy | włosy)
round(c(N = N, H_wlosy = H_wlosy, H_oczy = H_oczy, H_razem = H_razem, H_oczy_dane_wlosy = H_oczy_dane_wlosy,
I_bity = I_wz, U_oczy = I_wz / H_oczy), 4)
# Entropia koloru oczu osobno w każdej grupie koloru włosów
H_w_grupach <- apply(tab, 1, H)
round(cbind(n = rowSums(tab), H_oczy = H_w_grupach), 3)
# Test G (iloraz wiarygodności) to 2 * N * I w natach; obok chi-kwadrat Pearsona
G <- 2 * N * I_wz * log(2)
df <- (nrow(tab) - 1) * (ncol(tab) - 1)
round(c(G = G, df = df, chi2_Pearsona = unname(chisq.test(tab)$statistic)), 2)
signif(pchisq(G, df, lower.tail = FALSE), 3) # wartość p testu G
# 3. Kodowanie bez szumu: długości słów kodu Huffmana a entropia
huffman_dlugosci <- function(p) {
dl <- setNames(numeric(length(p)), names(p))
grupy <- as.list(seq_along(p)); wagi <- unname(p)
while (length(wagi) > 1) {
i <- order(wagi)[1:2] # łączymy dwa najrzadsze węzły
for (g in grupy[i]) dl[g] <- dl[g] + 1 # każdy symbol w nich dostaje jeden bit więcej
grupy <- c(grupy[-i], list(unlist(grupy[i]))); wagi <- c(wagi[-i], sum(wagi[i]))
}
dl
}
# Przykład Shannona (1948, rozdz. 9): A, B, C, D z prawdopodobieństwami 1/2, 1/4, 1/8, 1/8
p_abcd <- c(A = 1/2, B = 1/4, C = 1/8, D = 1/8)
c(H = H(p_abcd), srednia_dlugosc = sum(p_abcd * huffman_dlugosci(p_abcd)))
# Kolor oczu 592 studentów
p_oczy <- colSums(tab) / N
kod_oczy <- data.frame(oczy = names(p_oczy), p = round(p_oczy, 4), informacja_bity = round(-log2(p_oczy), 3),
dlugosc_kodu = huffman_dlugosci(p_oczy))
kod_oczy
round(c(H_oczy = H_oczy, srednia_dlugosc = sum(p_oczy * kod_oczy$dlugosc_kodu), kod_staly = log2(4)), 4)
# Rysunek 2A: entropia koloru oczu w grupach koloru włosów
grupy <- data.frame(wlosy = factor(names(H_w_grupach), levels = names(sort(H_w_grupach))), H = H_w_grupach, n = rowSums(tab))
pA <- ggplot(grupy, aes(H, wlosy)) +
geom_vline(xintercept = H_oczy, colour = oi[["niebieski"]], linewidth = 0.9) +
geom_vline(xintercept = H_oczy_dane_wlosy, colour = oi[["cynober"]], linewidth = 0.9, linetype = "dashed") +
geom_point(aes(size = n), shape = 21, fill = oi[["pomaranczowy"]]) +
geom_text(aes(label = sprintf("%.2f bita (n = %d)", H, n)), nudge_y = 0.3, size = 3.3) +
annotate("text", x = H_oczy + 0.02, y = 0.55, label = sprintf("H(oczy) = %.3f", H_oczy), hjust = 0, size = 3.3, colour = oi[["niebieski"]]) +
annotate("text", x = H_oczy_dane_wlosy - 0.02, y = 0.55, label = sprintf("H(oczy | włosy) = %.3f", H_oczy_dane_wlosy), hjust = 1, size = 3.3, colour = oi[["cynober"]]) +
scale_size_area(max_size = 9, guide = "none") +
scale_x_continuous(limits = c(1, 2.2)) +
labs(title = "A. Niepewność koloru oczu w grupach", x = "Entropia koloru oczu (bity)", y = "Kolor włosów") +
motyw
# Rysunek 2B: informacja w bitach (-log2 p) a długość słowa kodu Huffmana dla koloru oczu
kod_dl <- rbind(data.frame(oczy = kod_oczy$oczy, bity = kod_oczy$informacja_bity, miara = "informacja −log2 p"),
data.frame(oczy = kod_oczy$oczy, bity = kod_oczy$dlugosc_kodu, miara = "długość słowa kodu"))
kod_dl$oczy <- factor(kod_dl$oczy, levels = kod_oczy$oczy[order(-kod_oczy$p)])
pB <- ggplot(kod_dl, aes(oczy, bity, fill = miara)) +
geom_col(position = position_dodge(width = 0.75), width = 0.7, colour = "grey20") +
geom_text(aes(label = format(round(bity, 2), nsmall = 0)), position = position_dodge(width = 0.75), vjust = -0.4, size = 3.2) +
scale_fill_manual(values = c("informacja −log2 p" = oi[["niebieski"]], "długość słowa kodu" = "grey85"), name = NULL) +
labs(title = "B. Kod Huffmana dla koloru oczu", x = "Kolor oczu (od najczęstszego)", y = "Bity",
subtitle = sprintf("średnio %.3f bita na osobę przy entropii %.3f", sum(p_oczy * kod_oczy$dlugosc_kodu), H_oczy)) +
motyw + theme(legend.position = "bottom")
p_metoda <- pA + pB + plot_layout(widths = c(1, 1))
p_os
p_metodaWynik w R
Eye
Hair Brown Blue Hazel Green
Black 68 20 15 5
Brown 119 84 54 29
Red 26 17 14 14
Blond 7 94 10 16
N H_wlosy H_oczy H_razem
592.0000 1.7982 1.8279 3.4476
H_oczy_dane_wlosy I_bity U_oczy
1.6494 0.1784 0.0976
n H_oczy
Black 108 1.472
Brown 286 1.834
Red 71 1.948
Blond 127 1.217
G df chi2_Pearsona
146.44 9.00 138.29
[1] 4.81e-27
H srednia_dlugosc
1.75 1.75
oczy p informacja_bity dlugosc_kodu
Brown Brown 0.3716 1.428 1
Blue Blue 0.3632 1.461 2
Hazel Hazel 0.1571 2.670 3
Green Green 0.1081 3.209 3
H_oczy srednia_dlugosc kod_staly
1.8279 1.8936 2.0000 Bibliografia oprogramowania
Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (dane – pakiet datasets; test – funkcja chisq.test() z pakietu stats; rysunki – pakiety ggplot2 i patchwork). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).
- R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
- ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
- patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
Najczęstsze pytania
Kim był Claude Shannon?
Amerykańskim inżynierem i matematykiem (1916–2001), absolwentem University of Michigan i doktorem MIT. Przez około piętnaście lat pracował w Bell Labs, a od 1957 r. był profesorem MIT. Jest twórcą teorii informacji, z której pochodzą entropia Shannona i informacja wzajemna.
Co to jest entropia Shannona w prostych słowach?
Średnia niepewność wyniku: H = −Σ p log p. Przy logarytmie o podstawie 2 mierzy się ją w bitach. Wynosi 0, gdy wynik jest pewny, i jest największa, gdy wszystkie kategorie są równie częste. To także średnia liczba bitów na symbol, poniżej której nie da się zakodować wiadomości.
Kto wymyślił słowo „bit”?
Shannon w artykule z 1948 r. napisał, że jednostki przy logarytmie o podstawie 2 można nazywać cyframi dwójkowymi, w skrócie bitami – słowem zaproponowanym przez Johna Tukeya. Sama miara informacji jest pomysłem Shannona.
Czym jest „maszyna ostateczna” Shannona?
Skrzynką z jednym przełącznikiem: po jego włączeniu wysuwa się ręka, która go wyłącza. Według biografii Sloane’a i Wynera Shannon zbudował ją na początku lat 50. na podstawie pomysłu Marvina Minsky’ego; należała do wielu jego żartobliwych konstrukcji, obok maszyny do żonglowania i myszy Tezeusza.
Powiązane hasła
Poradniki, w których użyjesz tego pojęcia
Test chi-kwadrat krok po kroku
Test zgodności i niezależności na jednym badaniu: odsetki, liczebności oczekiwane, reszty, V Craméra, test Fishera i gotowy opis APA.
Czytaj →PoradnikTabela krzyżowa na wykresie
Słupki 100% w wierszach i kolumnach, mozaika, mapa reszt χ² z korektą i odsetki z CI – jedna tabela 3 × 4, pięć rysunków z R, podpisy APA.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Wyceń analizęOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- Gallager, R. G. (2001). Claude E. Shannon: A retrospective on his life, work, and impact. IEEE Transactions on Information Theory, 47(7), 2681–2695. https://doi.org/10.1109/18.959253
- James, I. (2009). Claude Elwood Shannon 30 April 1916 — 24 February 2001. Biographical Memoirs of Fellows of the Royal Society, 55(55), 257–265. https://doi.org/10.1098/rsbm.2009.0015
- Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379–423. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x
- Sloane, N. J. A., & Wyner, A. D. (Eds.). (1993). Claude E. Shannon: Collected papers. IEEE Press. https://doi.org/10.1109/9780470544242
Cytowania BibTeX
@article{gallager2001claude, author={Gallager, Robert G.}, title={{Claude E. Shannon: A retrospective on his life, work, and impact}}, journal={IEEE Transactions on Information Theory}, year={2001}, volume={47}, number={7}, pages={2681--2695}, doi={10.1109/18.959253}}@article{james2009claude, author={James, Ioan}, title={{Claude Elwood Shannon 30 April 1916 — 24 February 2001}}, journal={Biographical Memoirs of Fellows of the Royal Society}, year={2009}, volume={55}, number={55}, pages={257--265}, doi={10.1098/rsbm.2009.0015}}@article{shannon1948mathematical, author={Shannon, Claude E.}, title={{A mathematical theory of communication}}, journal={Bell System Technical Journal}, year={1948}, volume={27}, number={3}, pages={379--423}, doi={10.1002/j.1538-7305.1948.tb01338.x}}@book{sloane1993claude, author={Sloane, N. J. A. and Wyner, Aaron D.}, title={{Claude E. Shannon: Collected papers}}, year={1993}, publisher={IEEE Press}, doi={10.1109/9780470544242}}