Słownik metodologiczny · Psychometria

Kappa Fleissa – jak policzyć zgodność trzech i więcej sędziów?

Kappa Fleissa daje jedną miarę zgodności dla wielu sędziów oceniających w kategoriach nominalnych. Pokazujemy wzór, przykład z czterema koderami policzony w R i gotowy opis.

Strona główna / Słownik / Kappa Fleissa
W skrócie: Kappa Fleissa mierzy zgodność trzech lub więcej sędziów przypisujących obiekty do kategorii nominalnych, z poprawką na zgodność przypadkową liczoną ze wspólnych częstości kategorii. Każdy obiekt musi mieć tyle samo ocen. Podawaj ją z przedziałem ufności i częstościami kategorii.

Co to jest kappa Fleissa?

Kappa Fleissa (ang. Fleiss' kappa, κF) to miara zgodności trzech lub więcej sędziów, którzy przypisują obiekty do kategorii nominalnych, skorygowana o zgodność przypadkową. Opisał ją Fleiss (1971); przenosi ona logikę kappy Cohena na wielu sędziów. Stosuje się ją np. przy kodowaniu odpowiedzi otwartych przez zespół koderów albo przy klasyfikacji zachowań z nagrań. Każdy obiekt musi mieć tyle samo ocen, ale nie muszą ich wystawiać ci sami sędziowie.

Jak liczyć

κF = (P̄ − P̄e) / (1 − P̄e)

P̄ to średni po obiektach odsetek zgodnych par ocen, a P̄e – zgodność oczekiwana, czyli suma kwadratów ogólnych częstości kategorii. W odróżnieniu od kappy Cohena zgodność przypadkowa jest liczona ze wspólnych częstości wszystkich sędziów, a nie z rozkładów każdego z nich osobno. Uogólnione statystyki typu kappa dla wielu obserwatorów rozwijali też Landis i Koch (1977).

Przykład

Czterech psychologów zakwalifikowało 60 wypowiedzi z dzienników pacjentów jako emocję, myśl albo zachowanie (dane symulowane). Wszyscy czterej zgodzili się przy 30 wypowiedziach. Średni odsetek zgodnych par wyniósł .736, zgodność oczekiwana .362, a kappa Fleissa .586, 95% CI [.48, .69] (bootstrap). Kappy Cohena dla sześciu par sędziów mieściły się w przedziale .53–.64.

Na rysunku

Panel A to dane z przykładu. Panel B to symulacja: czterech sędziów o tej samej trafności co w przykładzie (85% ocen zgodnych z prawdą, reszta losowa) koduje 60 obiektów w dwóch kategoriach, a kategoria „obecne” jest coraz rzadsza. Dla każdej częstości powtórzono 1000 badań.

Dwa panele. A: wykres punktowy dla trzech kategorii – emocja (44%), myśl (35%), zachowanie (20%). Niebieskie kółka pokazują odsetek zgodnych par: .742, .792 i .626; pomarańczowe trójkąty kappę dla kategorii: .538, .678 i .530; pionowa linia przerywana przy kappie Fleissa .586. B: oś pozioma to częstość kategorii „obecne” od 50% do 5%. Niebieska linia ciągła z kółkami (średnia zgodność obserwowana) jest płaska przy około .86. Pomarańczowa linia przerywana z trójkątami (mediana kappy Fleissa) spada z .72 do .32, a jej pionowe wąsy (10. i 90. centyl) wydłużają się przy rzadszej kategorii
Rysunek 1. Zgodność w poszczególnych kategoriach w przykładzie (A) oraz kappa Fleissa i zgodność obserwowana przy coraz rzadszej kategorii i stałej trafności sędziów (B). Obliczenia: R, pakiety ggplot2 i patchwork (symulacja, set.seed(203) i set.seed(2031)).

Co widać. W przykładzie sędziowie najlepiej zgadzali się co do „myśli” (79.2% zgodnych par, kappa dla kategorii .678), a najsłabiej co do najrzadszego „zachowania” (62.6% i .530). W panelu B średnia zgodność obserwowana prawie się nie zmienia (od 86.0% do 86.2%, błąd Monte Carlo 0.1 pp), a mediana kappy Fleissa spada z .721 przy kategoriach po 50% do .321, gdy „obecne” stanowi 5% obiektów. Przy częstości 5% aż 71.7% badań (błąd MC 1.4 pp) daje κF poniżej .40, choć sędziowie są tak samo trafni jak przy 50%.

Na co uważać. Spadek w panelu B nie jest błędem obliczeń. Przy rzadkiej kategorii zgodność oczekiwana przez przypadek jest wysoka, więc niewiele zostaje „ponad przypadek”. Rośnie też rozrzut kappy między badaniami (dłuższe wąsy). Symulacja zakłada losowe pomyłki, a w prawdziwych danych bywają one systematyczne. Dlatego obok κF podawaj częstości kategorii i zgodność w kategoriach. Przy bardzo rzadkiej kategorii można dodatkowo podać AC1 Gweta, który słabiej reaguje na częstość. Panel A to wykres punktowy Clevelanda.

Podpis do pracy:

Rysunek 1. Zgodność czterech sędziów w poszczególnych kategoriach (A) oraz kappa Fleissa i zgodność obserwowana przy malejącej częstości kategorii (B). Uwaga. A: 60 wypowiedzi, dane symulowane; odsetek zgodnych par wśród par ocen z udziałem danej kategorii i kappa dla kategorii; linia przerywana – kappa Fleissa dla wszystkich kategorii (.586). B: 1000 symulowanych badań (60 obiektów, czterech sędziów, 85% ocen zgodnych z prawdą) dla każdej częstości; punkty – średnia zgodność obserwowana i mediana kappy Fleissa, wąsy – 10. i 90. centyl.

Kod poniżej odtwarza rysunek i liczby z tego akapitu. Panel A korzysta z tego samego ziarna 203 co przykład, a panel B z ziarna 2031. Oba ziarna ustalono raz i nie zmieniano. Trafność sędziów (85%), częstości kategorii i liczbę badań ustawiono ręcznie. Rysunek na stronie powstał z tego samego obiektu p1 z motywem serwisu – różni się tylko krój czcionki i siatka.

Kod R rysunku 1
# Rysunek 1. Kappa Fleissa: zgodność w kategoriach (A) i paradoks rzadkiej kategorii (B)
library(ggplot2)
library(patchwork)
motyw <- theme_minimal(base_size = 13) +
  theme(panel.grid.minor = element_blank(), legend.position = "bottom", plot.title = element_text(face = "bold"))
okabe <- c(kappa = "#D55E00", zgodnosc = "#0072B2")             # paleta Okabe–Ito

# A. Dane z przykładu hasła: 60 wypowiedzi, 4 sędziów, 3 kategorie (to samo ziarno co wyżej)
set.seed(203)
N <- 60; m <- 4; kat <- c("emocja", "mysl", "zachowanie")
prawda <- sample(kat, N, TRUE, c(.45, .35, .20))
oceny <- sapply(1:m, function(j) ifelse(runif(N) < .85, prawda, sample(kat, N, TRUE)))
n_ij <- t(apply(oceny, 1, function(x) table(factor(x, levels = kat))))
p_j <- colSums(n_ij) / (N * m)                              # częstości kategorii
zgodnosc_j <- colSums(n_ij * (n_ij - 1)) / colSums(n_ij * (m - 1))   # zgodne pary wśród par z kategorią j
kappa_j <- 1 - colSums(n_ij * (m - n_ij)) / (N * m * (m - 1) * p_j * (1 - p_j))   # kappa dla kategorii (Fleiss, 1971)
round(rbind(czestosc = p_j, zgodnosc = zgodnosc_j, kappa = kappa_j), 3)

dA <- data.frame(kategoria = rep(sprintf("%s (%.0f%%)", c("emocja", "myśl", "zachowanie"), 100 * p_j), 2),
                 miara = rep(c("odsetek zgodnych par", "kappa dla kategorii"), each = 3),
                 wartosc = c(zgodnosc_j, kappa_j))
pA <- ggplot(dA, aes(wartosc, kategoria, colour = miara, shape = miara)) +
  geom_vline(xintercept = 0.586, linetype = "dashed", colour = "grey40") +
  geom_point(size = 3.5) +
  annotate("text", x = 0.595, y = 3.45, label = "κF = .586", hjust = 0, size = 3.6) +
  scale_colour_manual(values = unname(okabe), name = NULL) +
  scale_shape_manual(values = c(17, 16), name = NULL) +
  scale_x_continuous(limits = c(0.4, 1), labels = function(x) sub("^0\\.", ".", x)) +
  guides(colour = guide_legend(nrow = 2)) +
  labs(title = "A. Zgodność w kategoriach", x = "Wartość", y = NULL) +
  motyw

# B. Ci sami „sędziowie” (85% ocen zgodnych z prawdą, reszta losowa), dwie kategorie,
#    coraz rzadsza kategoria „obecne”; po 1000 symulowanych badań z N = 60 i m = 4
fleiss2 <- function(x, m) {                                 # x: liczba ocen „obecne” dla każdego obiektu
  n_ij <- cbind(x, m - x)
  P <- mean((rowSums(n_ij^2) - m) / (m * (m - 1)))
  p <- colSums(n_ij) / sum(n_ij); Pe <- sum(p^2)
  c(P_obs = P, kappa = (P - Pe) / (1 - Pe))
}
czestosci <- c(0.50, 0.30, 0.20, 0.10, 0.05)
R <- 1000
set.seed(2031)
sym <- do.call(rbind, lapply(czestosci, function(pr) {
  t(replicate(R, {
    prawda <- rbinom(N, 1, pr)
    oc <- sapply(1:m, function(j) ifelse(runif(N) < .85, prawda, rbinom(N, 1, 0.5)))
    c(czestosc = pr, fleiss2(rowSums(oc), m))
  }))
}))
sym <- as.data.frame(sym)
wynB <- do.call(rbind, lapply(split(sym, sym$czestosc), function(d) data.frame(
  czestosc = d$czestosc[1], P_obs = mean(d$P_obs), blad_MC_P = sd(d$P_obs) / sqrt(R),
  kappa_med = median(d$kappa), kappa_q10 = quantile(d$kappa, .10), kappa_q90 = quantile(d$kappa, .90),
  kappa_ponizej_40 = mean(d$kappa < .40))))
wynB$blad_MC_40 <- sqrt(wynB$kappa_ponizej_40 * (1 - wynB$kappa_ponizej_40) / R)
rownames(wynB) <- NULL
round(wynB, 3)

dB <- rbind(data.frame(czestosc = wynB$czestosc, miara = "średnia zgodność obserwowana",
                       y = wynB$P_obs, lo = NA, hi = NA),
            data.frame(czestosc = wynB$czestosc, miara = "kappa Fleissa (mediana, 10.–90. centyl)",
                       y = wynB$kappa_med, lo = wynB$kappa_q10, hi = wynB$kappa_q90))
pB <- ggplot(dB, aes(100 * czestosc, y, colour = miara, shape = miara, linetype = miara)) +
  geom_errorbar(aes(ymin = lo, ymax = hi), width = 1.2, linetype = "solid", na.rm = TRUE) +
  geom_line(linewidth = 0.9) +
  geom_point(size = 3.2) +
  scale_colour_manual(values = unname(okabe), name = NULL) +
  scale_shape_manual(values = c(17, 16), name = NULL) +
  scale_linetype_manual(values = c("dashed", "solid"), name = NULL) +
  scale_x_reverse(breaks = 100 * czestosci) +
  scale_y_continuous(limits = c(0, 1), labels = function(x) sub("^0\\.", ".", x)) +
  guides(colour = guide_legend(nrow = 2)) +
  labs(title = "B. Ta sama trafność, rzadsza kategoria", x = "Częstość kategorii „obecne” (%)", y = "Wartość") +
  motyw
p1 <- pA + pB
p1   # zapis: ggsave("kappa-fleissa-rzadka-kategoria.svg", p1, width = 10, height = 5.8)
Wynik w R
         emocja  mysl zachowanie
czestosc  0.442 0.354      0.204
zgodnosc  0.742 0.792      0.626
kappa     0.538 0.678      0.530
  czestosc P_obs blad_MC_P kappa_med kappa_q10 kappa_q90 kappa_ponizej_40
1     0.05 0.860     0.001     0.321     0.111     0.499            0.717
2     0.10 0.862     0.001     0.480     0.304     0.627            0.262
3     0.20 0.860     0.001     0.618     0.496     0.722            0.016
4     0.30 0.861     0.001     0.683     0.593     0.767            0.000
5     0.50 0.862     0.001     0.721     0.639     0.799            0.000
  blad_MC_40
1      0.014
2      0.014
3      0.004
4      0.000
5      0.000

Jak opisać w pracy

Zgodność czterech sędziów kodujących 60 wypowiedzi w trzech kategoriach (emocja, myśl, zachowanie) oceniono kappą Fleissa (Fleiss, 1971). Wyniosła ona κF = .586, 95% CI [.48, .69] (bootstrap, 2000 prób), a pełną zgodność wszystkich sędziów uzyskano dla 30 wypowiedzi (50.0%).

Na co uważać

  • Kappa Fleissa to nie średnia kapp Cohena. Średnią kapp dla par nazywa się kappą Lighta. Tutaj oba wyniki są zbliżone (.586), ale przy różnych rozkładach ocen sędziów mogą się rozjechać.
  • Rzadkie kategorie obniżają kappę. Na wielkość kappy wpływa rozpowszechnienie kategorii (Sim i Wright, 2005), więc podawaj też częstości kategorii.
  • Dobierz miarę do danych. Przy kategoriach porządkowych rozważ W Kendalla, a przy brakach ocen – alfę Krippendorffa.

Porównanie wszystkich miar na jednym zbiorze danych znajdziesz we wpisie Zgodność sędziów: kappa, ICC, alfa.

Przykład reprodukowalny

Kappa Fleissa w R

Kod liczy kappę Fleissa ręcznie, bez dodatkowych pakietów.

Kappa Fleissa z tabeli ocen

Dane wejściowe: macierz 60 × 4 z kategorią przypisaną przez każdego sędziego (dane symulowane).

Co odczytać: obserwowaną i oczekiwaną zgodność oraz κF.

R
set.seed(203)                                   # 60 wypowiedzi, 4 sędziów, 3 kategorie
N <- 60; m <- 4; kat <- c("emocja", "mysl", "zachowanie")
prawda <- sample(kat, N, TRUE, c(.45, .35, .20))
oceny <- sapply(1:m, function(j) ifelse(runif(N) < .85, prawda, sample(kat, N, TRUE)))
n_ij <- t(apply(oceny, 1, function(x) table(factor(x, levels = kat))))  # liczba ocen w kategorii
P_i <- (rowSums(n_ij^2) - m) / (m * (m - 1))    # odsetek zgodnych par dla wypowiedzi
p_j <- colSums(n_ij) / (N * m)                  # ogólne częstości kategorii
P_obs <- mean(P_i); P_exp <- sum(p_j^2)
round(c(P_obs = P_obs, P_exp = P_exp, kappa_F = (P_obs - P_exp) / (1 - P_exp)), 3)
Wynik w R
  P_obs   P_exp kappa_F
  0.736   0.362   0.586

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje pakietu base). Rysunek 1 wykonano w pakietach ggplot2 i patchwork i zapisano pakietem svglite.

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  4. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Najczęstsze pytania

Czy w kappie Fleissa każdy obiekt muszą ocenić ci sami sędziowie?

Nie. Wystarczy, że każdy obiekt ma tyle samo ocen, np. po trzy z większego zespołu. Gdy liczba ocen się różni, lepszym wyborem jest alfa Krippendorffa.

Czym kappa Fleissa różni się od kappy Lighta?

Kappa Lighta to średnia kapp Cohena dla wszystkich par sędziów. Kappa Fleissa liczy zgodność przypadkową ze wspólnych częstości kategorii, więc przy różnych rozkładach ocen sędziów wyniki mogą się różnić.

Jak policzyć kappę Fleissa w R bez pakietu irr?

Policz dla każdego obiektu liczbę ocen w każdej kategorii, z niej odsetek zgodnych par, a zgodność oczekiwaną z ogólnych częstości kategorii. Kod mieści się w kilku liniach base R.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382. https://doi.org/10.1037/h0031619
  2. Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310 ● Otwarty dostęp: pełny tekst
  3. Sim, J., & Wright, C. C. (2005). The kappa statistic in reliability studies: Use, interpretation, and sample size requirements. Physical Therapy, 85(3), 257–268. https://doi.org/10.1093/ptj/85.3.257

Cytowania BibTeX

@article{fleiss1971measuring, author={Fleiss, Joseph L.}, title={{Measuring nominal scale agreement among many raters}}, journal={Psychological Bulletin}, year={1971}, volume={76}, number={5}, pages={378--382}, doi={10.1037/h0031619}}
@article{landis1977measurement, author={Landis, J. Richard and Koch, Gary G.}, title={{The measurement of observer agreement for categorical data}}, journal={Biometrics}, year={1977}, volume={33}, number={1}, pages={159--174}, doi={10.2307/2529310}}
@article{sim2005kappa, author={Sim, Julius and Wright, Chris C.}, title={{The kappa statistic in reliability studies: Use, interpretation, and sample size requirements}}, journal={Physical Therapy}, year={2005}, volume={85}, number={3}, pages={257--268}, doi={10.1093/ptj/85.3.257}}
R