Słownik metodologiczny · Braki danych

Algorytm EM – jak szacuje parametry przy brakach danych

Algorytm EM znajduje oszacowania największej wiarygodności, gdy część danych nie została zaobserwowana. Pokazujemy krok E i krok M, przykład w R z brakami MAR, ograniczenia (brak błędów standardowych) i opis w pracy.

Strona główna / Słownik / Algorytm EM
W skrócie: Algorytm EM (expectation–maximization) naprzemiennie wylicza wartości oczekiwane brakujących informacji (krok E) i na ich podstawie nowe parametry (krok M), aż do zbieżności. Daje oszacowania największej wiarygodności przy brakach MAR, ale nie daje błędów standardowych.

Co to jest algorytm EM?

Algorytm EM (ang. expectation–maximization) to iteracyjny sposób znajdowania oszacowań metodą największej wiarygodności, gdy część danych jest nieobserwowana. Dempster, Laird i Rubin (1977) opisali go jako ogólną metodę i wykazali, że wiarygodność w kolejnych krokach nie maleje. Wśród zastosowań wymienili braki danych, dane cenzurowane, modele mieszanin i analizę czynnikową.

Jak działa

  1. Krok E. Przy bieżących parametrach algorytm wylicza wartości oczekiwane tego, czego brakuje. Przy brakach danych są to sumy, kwadraty i iloczyny potrzebne do średnich i kowariancji.
  2. Krok M. Z tak uzupełnionych statystyk liczy nowe parametry, jakby dane były pełne.
  3. Oba kroki powtarza się, aż zmiana parametrów stanie się pomijalnie mała.

EM nie wstawia jednej „najlepszej” liczby w miejsce braku i nie traktuje jej jak pomiaru. Ta sama idea działa w analizie klas latentnych i w modelach mieszanin, gdzie nieobserwowana jest przynależność do klasy.

EM a braki danych

Schafer i Graham (2002) zaliczają metody największej wiarygodności, obok imputacji wielokrotnej, do podejść zalecanych przy brakach danych, a starsze metody doraźne w większości odradzają. Warunkiem jest mechanizm MAR (zob. MCAR, MAR i MNAR). W przykładzie z R braki w y zależą od x (27.5% braków). Średnia z dostępnych przypadków wynosi 48.24, a EM daje 50.32 przy 49.94 w pełnych danych. Usuwanie przypadków zaniża tu średnią, bo brakuje głównie osób z wysokim x.

Ograniczenia

  • EM daje oszacowania parametrów, np. średnie i macierz kowariancji, ale nie daje błędów standardowych. Zbiór „uzupełniony EM” analizowany jak pełny zaniża niepewność.
  • Do testów i przedziałów ufności lepiej użyć estymacji FIML w samym modelu albo imputacji wielokrotnej. Graham (2009) omawia oba podejścia i podkreśla, że zmienne pomocnicze zwiększają moc i zmniejszają obciążenie.
  • Przy dużym odsetku braków zbieżność bywa powolna, a w modelach mieszanin algorytm może utknąć w maksimum lokalnym – warto startować z kilku punktów.

Na rysunku

Dwa panele. W panelu A szary histogram 300 wyników z dwoma garbami, około 50 i 75, oraz cztery krzywe mieszaniny: kropkowana krzywa startowa przesunięta w lewo, kreskowo-kropkowana po 2 iteracjach i kreskowana po 10 iteracjach z jednym szerokim garbem oraz ciągła końcowa z dwoma garbami dopasowanymi do histogramu. W panelu B log-wiarygodność w kolejnych iteracjach na logarytmicznej osi poziomej dla dwóch startów: obie linie tylko rosną i kończą na tym samym poziomie około −1223; start słaby po skoku w pierwszej iteracji długo stoi na niższym poziomie, start bliższy dochodzi do maksimum niemal od razu.
Rysunek 1. Algorytm EM dla mieszaniny dwóch rozkładów normalnych: dopasowanie w kolejnych iteracjach i log-wiarygodność dla dwóch punktów startowych. Obliczenia: R, pakiety ggplot2 i patchwork (dane symulowane, ziarno 5531).

Co widać. 300 wyników pochodzi z dwóch nieoznaczonych podgrup: 180 osób z N(50, 8²) i 120 z N(75, 10²). Krok E liczy dla każdej osoby prawdopodobieństwo przynależności do podgrupy, krok M – ważone średnie, odchylenia i udział. Po 2 i 10 iteracjach krzywa ma jeszcze jeden szeroki garb, a po 177 iteracjach algorytm odtwarza obie podgrupy: udział 0.589, średnie 49.85 i 75.56, odchylenia 7.95 i 9.71. Log-wiarygodność rośnie od −1453.5 do −1222.9 i w żadnym kroku nie spada. Start bliższy rozwiązaniu dochodzi do tego samego maksimum w 85 iteracjach.

Na co uważać. Długi, prawie płaski odcinek przy słabym starcie wygląda jak zbieżność: od 1. do 8. iteracji log-wiarygodność rośnie tylko z −1244.7 do −1240.5, choć maksimum to −1222.9. Kryterium zatrzymania musi więc być ścisłe. Wykres pokazuje dwa starty; jedno maksimum nie dowodzi, że innych nie ma. Punkty startowe i parametry podgrup wybrano ręcznie; ziarna nie zmieniano.

Podpis do pracy:

Rysunek 1. Dopasowanie modelu mieszaniny dwóch rozkładów normalnych algorytmem EM (N = 300). Uwaga. Panel A: histogram wyników i gęstość mieszaniny przy parametrach startowych, po 2, 10 i 177 iteracjach. Panel B: log-wiarygodność w kolejnych iteracjach dla dwóch punktów startowych; oś pozioma w skali logarytmicznej.
Linia z punktami pokazuje oszacowanie średniej y w kolejnych iteracjach EM: startuje z 48.24 przy kropkowanej linii usuwania przypadków, po pierwszej iteracji skacze do 49.75, przecina przerywaną linię pełnych danych (49.94) i od około 8. iteracji stoi na poziomie 50.32.
Rysunek 2. Oszacowanie średniej y w kolejnych iteracjach algorytmu EM w przykładzie z brakami MAR z hasła. Obliczenia: R, pakiet ggplot2 (dane symulowane, ziarno 55301).

Co widać. Start to średnia z dostępnych przypadków, 48.24. Już pierwsza iteracja przesuwa oszacowanie do 49.75, po pięciu wynosi 50.27, a po 37 iteracjach zatrzymuje się na 50.32 – blisko średniej z pełnych danych (49.94), której w praktyce nie znamy.

Na co uważać. Wykres pokazuje tylko oszacowanie punktowe. Nie widać na nim niepewności – EM jej nie daje, o czym mowa wyżej. Inne sposoby rysowania braków pokazuje wpis Braki danych na wykresie.

Podpis do pracy:

Rysunek 2. Oszacowanie średniej zmiennej Y w kolejnych iteracjach algorytmu EM (N = 200; 27.5% braków MAR w Y). Uwaga. Linia kropkowana: średnia z usuwania przypadków (48.24); linia przerywana: średnia z pełnych danych przed usunięciem wartości (49.94).
Kod R rysunków
# Rysunki 1–2: EM dla mieszaniny dwóch rozkładów normalnych oraz zbieżność EM w przykładzie z brakami danych
library(ggplot2)
library(patchwork)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw
kol <- c("#999999", "#E69F00", "#56B4E9", "#0072B2")
motyw <- theme_minimal(base_size = 14) +
  theme(panel.grid.minor = element_blank(), legend.position = "bottom",
        plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(0.95)),
        plot.background = element_rect(fill = "white", colour = NA))

# Rysunek 1: 300 wyników z dwóch nieoznaczonych podgrup – 180 z N(50, 8²) i 120 z N(75, 10²)
set.seed(5531)
x <- c(rnorm(180, 50, 8), rnorm(120, 75, 10))
loglik <- function(th) sum(log(th$udzial * dnorm(x, th$m1, th$s1) + (1 - th$udzial) * dnorm(x, th$m2, th$s2)))
em <- function(th, maks = 500) {
  slad <- list(th); ll <- loglik(th)
  for (it in 1:maks) {
    # krok E: prawdopodobieństwo, że osoba należy do podgrupy 1, przy obecnych parametrach
    a <- th$udzial * dnorm(x, th$m1, th$s1); b <- (1 - th$udzial) * dnorm(x, th$m2, th$s2)
    w <- a / (a + b)
    # krok M: ważone średnie, odchylenia i udział podgrupy
    m1 <- sum(w * x) / sum(w); m2 <- sum((1 - w) * x) / sum(1 - w)
    th <- list(udzial = mean(w), m1 = m1, m2 = m2,
               s1 = sqrt(sum(w * (x - m1)^2) / sum(w)), s2 = sqrt(sum((1 - w) * (x - m2)^2) / sum(1 - w)))
    slad[[it + 1]] <- th; ll[it + 1] <- loglik(th)
    if (ll[it + 1] - ll[it] < 1e-8) break
  }
  list(slad = slad, ll = ll)
}
startA <- list(udzial = 0.5, m1 = 40, m2 = 45, s1 = 15, s2 = 15)   # start celowo słaby (wybrany ręcznie)
startB <- list(udzial = 0.5, m1 = 45, m2 = 80, s1 = 10, s2 = 10)   # start bliżej rozwiązania (wybrany ręcznie)
wA <- em(startA); wB <- em(startB)
kon <- wA$slad[[length(wA$slad)]]
round(c(iteracje_A = length(wA$ll) - 1, iteracje_B = length(wB$ll) - 1,
        logL_start_A = wA$ll[1], logL_po_1_A = wA$ll[2], logL_po_8_A = wA$ll[9],
        logL_koniec_A = max(wA$ll), logL_koniec_B = max(wB$ll),
        spadki_logL_A = sum(diff(wA$ll) < -1e-10), spadki_logL_B = sum(diff(wB$ll) < -1e-10)), 3)
round(unlist(kon), 3)                                         # oszacowania po zbieżności

kroki <- c(0, 2, 10, length(wA$slad) - 1)
siatka <- seq(15, 110, length.out = 300)
krzywe <- do.call(rbind, lapply(seq_along(kroki), function(j) {
  th <- wA$slad[[kroki[j] + 1]]
  data.frame(x = siatka, g = th$udzial * dnorm(siatka, th$m1, th$s1) + (1 - th$udzial) * dnorm(siatka, th$m2, th$s2),
             krok = j)
}))
etykiety <- c("start", "po 2 iteracjach", "po 10 iteracjach", paste("po", kroki[4], "iteracjach (koniec)"))
krzywe$krok <- factor(etykiety[krzywe$krok], levels = etykiety)
pA <- ggplot(data.frame(x = x), aes(x)) +
  geom_histogram(aes(y = after_stat(density)), binwidth = 4, boundary = 0, fill = "grey88", colour = "white") +
  geom_line(data = krzywe, aes(x, g, colour = krok, linetype = krok), linewidth = 1.1) +
  scale_colour_manual(values = kol, name = NULL) +
  scale_linetype_manual(values = c("dotted", "dotdash", "dashed", "solid"), name = NULL) +
  guides(colour = guide_legend(ncol = 2), linetype = guide_legend(ncol = 2)) +
  labs(title = "A. Dopasowanie mieszaniny w kolejnych krokach", x = "Wynik", y = "Gęstość") + motyw
sciezki <- rbind(data.frame(it = seq_along(wA$ll) - 1, ll = wA$ll, start = "start słaby (A)"),
                 data.frame(it = seq_along(wB$ll) - 1, ll = wB$ll, start = "start bliższy (B)"))
sciezki$start <- factor(sciezki$start, levels = c("start słaby (A)", "start bliższy (B)"))
pB <- ggplot(sciezki, aes(it, ll, colour = start, shape = start)) +
  geom_line(linewidth = 0.8) + geom_point(size = 2) +
  scale_colour_manual(values = c("#D55E00", "#0072B2"), name = NULL) +
  scale_shape_manual(values = c(17, 16), name = NULL) +
  scale_x_continuous(trans = "log1p", breaks = c(0, 1, 2, 5, 10, 20, 50, 100)) +
  coord_cartesian(ylim = c(max(wA$ll) - 60, max(wA$ll) + 5)) +
  annotate("text", x = 1.4, y = max(wA$ll) - 57, hjust = 0, size = 3.8,
           label = sprintf("start A: %.1f (poza osią)", wA$ll[1])) +
  labs(title = "B. Log-wiarygodność w iteracjach", x = "Iteracja (skala logarytmiczna)", y = "Log-wiarygodność") +
  motyw
p1 <- pA | pB

# Rysunek 2: średnia y w kolejnych iteracjach EM – przykład z hasła (te same dane i ten sam algorytm)
set.seed(55301)
n <- 200
x2 <- rnorm(n, mean = 50, sd = 10)
y <- 20 + 0.6 * x2 + rnorm(n, sd = 6)
y_obs <- y
y_obs[x2 > quantile(x2, 0.60) & runif(n) < 0.7] <- NA
brak <- is.na(y_obs)
mu <- c(mean(x2), mean(y_obs, na.rm = TRUE)); S <- cov(cbind(x2, y_obs), use = "complete.obs")
sr_y <- mu[2]
for (it in 1:200) {
  b <- S[1, 2] / S[1, 1]; s2 <- S[2, 2] - b * S[1, 2]
  ey <- ifelse(brak, mu[2] + b * (x2 - mu[1]), y_obs); ey2 <- ifelse(brak, ey^2 + s2, y_obs^2)
  mu_n <- c(mean(x2), mean(ey))
  sxy <- mean(x2 * ey) - mu_n[1] * mu_n[2]; syy <- mean(ey2) - mu_n[2]^2
  S_n <- matrix(c(mean(x2^2) - mu_n[1]^2, sxy, sxy, syy), 2)
  zmiana <- max(abs(c(mu_n - mu, S_n - S))); mu <- mu_n; S <- S_n
  sr_y[it + 1] <- mu[2]
  if (zmiana < 1e-8) break
}
round(c(iteracje = it, srednia_po_1 = sr_y[2], srednia_po_5 = sr_y[6], srednia_EM = mu[2],
        srednia_pelne = mean(y), srednia_listwise = mean(y_obs, na.rm = TRUE)), 3)
odn <- data.frame(y = c(mean(y), mean(y_obs, na.rm = TRUE)),
                  co = c("pełne dane (nieznane w praktyce)", "usuwanie przypadków"))
p2 <- ggplot(data.frame(it = seq_along(sr_y) - 1, sr = sr_y), aes(it, sr)) +
  geom_hline(data = odn, aes(yintercept = y, linetype = co), colour = "grey35") +
  geom_line(colour = "#0072B2", linewidth = 1) + geom_point(colour = "#0072B2", size = 2.2) +
  scale_linetype_manual(values = c("dashed", "dotted"), name = NULL) +
  annotate("text", x = it, y = mu[2] + 0.25, hjust = 1, size = 4, label = sprintf("EM: %.2f", mu[2])) +
  labs(x = "Iteracja", y = "Oszacowanie średniej y") + motyw

p1   # zapis: ggsave("algorytm-em-mieszanina.svg", p1, width = 10, height = 5.6)
p2   # zapis: ggsave("algorytm-em-braki.svg", p2, width = 8, height = 4.8)
Wynik w R
   iteracje_A    iteracje_B  logL_start_A   logL_po_1_A   logL_po_8_A 
      177.000        85.000     -1453.514     -1244.697     -1240.456 
logL_koniec_A logL_koniec_B spadki_logL_A spadki_logL_B 
    -1222.922     -1222.922         0.000         0.000 
udzial     m1     m2     s1     s2 
 0.589 49.853 75.559  7.945  9.706 
        iteracje     srednia_po_1     srednia_po_5       srednia_EM 
          37.000           49.747           50.265           50.321 
   srednia_pelne srednia_listwise 
          49.936           48.235 

Rysunki na stronie powstały z tego kodu z motywem serwisu (dane, geometrie i skale identyczne).

Jak opisać w pracy

Braki danych (do 27.5% w zmiennej Y) uznano za losowe warunkowo (MAR), bo zależały od obserwowanej zmiennej X. Średnie i macierz kowariancji oszacowano metodą największej wiarygodności za pomocą algorytmu EM. Testy i przedziały ufności oparto na imputacji wielokrotnej.
Przykład reprodukowalny

Algorytm EM w R

Kod implementuje oba kroki EM dla dwóch zmiennych o rozkładzie normalnym bez dodatkowych pakietów i porównuje średnią y z pełnych danych, z usuwania przypadków i z EM.

Krok E i krok M ręcznie

Dane wejściowe: 200 symulowanych osób, x pełne, braki w y częstsze przy wysokim x (MAR), set.seed(55301).

Co odczytać: odsetek braków 0.275, zbieżność po 37 iteracjach; średnia y 49.936 (pełne dane), 48.235 (usuwanie przypadków) i 50.321 (EM).

R
# Algorytm EM dla dwóch zmiennych o rozkładzie normalnym; y ma braki MAR (zależne od x)
set.seed(55301)
n <- 200
x <- rnorm(n, mean = 50, sd = 10)
y <- 20 + 0.6 * x + rnorm(n, sd = 6)
y_obs <- y
y_obs[x > quantile(x, 0.60) & runif(n) < 0.7] <- NA   # braki częściej przy wysokim x
brak <- is.na(y_obs)
mu <- c(mean(x), mean(y_obs, na.rm = TRUE))           # start: średnie z dostępnych danych
S <- cov(cbind(x, y_obs), use = "complete.obs")
for (it in 1:200) {
  # krok E: oczekiwane y i y^2 dla brakujących wartości przy obecnych parametrach
  b <- S[1, 2] / S[1, 1]
  s2 <- S[2, 2] - b * S[1, 2]
  ey <- ifelse(brak, mu[2] + b * (x - mu[1]), y_obs)
  ey2 <- ifelse(brak, ey^2 + s2, y_obs^2)
  # krok M: nowe średnie i kowariancje z uzupełnionych statystyk
  mu_n <- c(mean(x), mean(ey))
  sxy <- mean(x * ey) - mu_n[1] * mu_n[2]
  syy <- mean(ey2) - mu_n[2]^2
  S_n <- matrix(c(mean(x^2) - mu_n[1]^2, sxy, sxy, syy), 2)
  zmiana <- max(abs(c(mu_n - mu, S_n - S)))
  mu <- mu_n; S <- S_n
  if (zmiana < 1e-8) break
}
round(c(odsetek_brakow = mean(brak), iteracje = it,
        srednia_y_pelne_dane = mean(y),
        srednia_y_listwise = mean(y_obs, na.rm = TRUE),
        srednia_y_EM = mu[2]), 3)
Wynik w R
      odsetek_brakow             iteracje srednia_y_pelne_dane 
               0.275               37.000               49.936 
  srednia_y_listwise         srednia_y_EM 
              48.235               50.321 

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (przykład bez dodatkowych pakietów); rysunki wykonano w pakiecie ggplot2, panele połączono pakietem patchwork, a pliki zapisano pakietem svglite. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  4. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Najczęstsze pytania

Czy algorytm EM to rodzaj imputacji?

Nie w zwykłym sensie. EM szacuje parametry (np. średnie i kowariancje) z uwzględnieniem braków, a nie tworzy zbioru do analizy. Programy pozwalają zapisać zbiór „uzupełniony EM”, ale analizowany jak pełny zaniża błędy standardowe.

Jakie założenie o brakach danych przyjmuje EM?

Zwykle MAR – braki mogą zależeć od zmiennych obserwowanych w modelu, ale nie od samej brakującej wartości. Przy brakach MNAR EM w standardowej postaci nie usuwa obciążenia.

Co wybrać: EM, FIML czy imputację wielokrotną?

EM wystarczy do opisowych średnich i kowariancji. Do testów i przedziałów ufności użyj FIML w modelu (np. SEM) albo imputacji wielokrotnej, które dają poprawne błędy standardowe.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Dempster, A. P., Laird, N. M., & Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society: Series B (Methodological), 39(1), 1–22. https://doi.org/10.1111/j.2517-6161.1977.tb01600.x ● Otwarty dostęp: pełny tekst
  2. Graham, J. W. (2009). Missing data analysis: Making it work in the real world. Annual Review of Psychology, 60(1), 549–576. https://doi.org/10.1146/annurev.psych.58.110405.085530
  3. Schafer, J. L., & Graham, J. W. (2002). Missing data: Our view of the state of the art. Psychological Methods, 7(2), 147–177. https://doi.org/10.1037/1082-989X.7.2.147

Cytowania BibTeX

@article{dempster1977maximum, author={Dempster, A. P. and Laird, N. M. and Rubin, D. B.}, title={{Maximum likelihood from incomplete data via the EM algorithm}}, journal={Journal of the Royal Statistical Society: Series B (Methodological)}, year={1977}, volume={39}, number={1}, pages={1--22}, doi={10.1111/j.2517-6161.1977.tb01600.x}}
@article{graham2009missing, author={Graham, John W.}, title={{Missing data analysis: Making it work in the real world}}, journal={Annual Review of Psychology}, year={2009}, volume={60}, number={1}, pages={549--576}, doi={10.1146/annurev.psych.58.110405.085530}}
@article{schafer2002missing, author={Schafer, Joseph L. and Graham, John W.}, title={{Missing data: Our view of the state of the art}}, journal={Psychological Methods}, year={2002}, volume={7}, number={2}, pages={147--177}, doi={10.1037/1082-989x.7.2.147}}
R