Słownik metodologiczny · Psychometria

Kappa Fleissa – jak policzyć zgodność trzech i więcej sędziów?

Kappa Fleissa daje jedną miarę zgodności dla wielu sędziów oceniających w kategoriach nominalnych. Pokazujemy wzór, przykład z czterema koderami policzony w R i gotowy opis.

Strona główna / Słownik / Kappa Fleissa

Opracowanie merytoryczne: · Opublikowano:

W skrócie: Kappa Fleissa mierzy zgodność trzech lub więcej sędziów przypisujących obiekty do kategorii nominalnych, z poprawką na zgodność przypadkową liczoną ze wspólnych częstości kategorii. Każdy obiekt musi mieć tyle samo ocen. Podawaj ją z przedziałem ufności i częstościami kategorii.

Co to jest kappa Fleissa?

Kappa Fleissa (ang. Fleiss' kappa, κF) to miara zgodności trzech lub więcej sędziów, którzy przypisują obiekty do kategorii nominalnych, skorygowana o zgodność przypadkową. Opisał ją Fleiss (1971); przenosi ona logikę kappy Cohena na wielu sędziów. Stosuje się ją np. przy kodowaniu odpowiedzi otwartych przez zespół koderów albo przy klasyfikacji zachowań z nagrań. Każdy obiekt musi mieć tyle samo ocen, ale nie muszą ich wystawiać ci sami sędziowie.

Jak liczyć

κF = (P̄ − P̄e) / (1 − P̄e)

P̄ to średni po obiektach odsetek zgodnych par ocen, a P̄e – zgodność oczekiwana, czyli suma kwadratów ogólnych częstości kategorii. W odróżnieniu od kappy Cohena zgodność przypadkowa jest liczona ze wspólnych częstości wszystkich sędziów, a nie z rozkładów każdego z nich osobno. Uogólnione statystyki typu kappa dla wielu obserwatorów rozwijali też Landis i Koch (1977).

Przykład

Czterech psychologów zakwalifikowało 60 wypowiedzi z dzienników pacjentów jako emocję, myśl albo zachowanie (dane symulowane). Wszyscy czterej zgodzili się przy 30 wypowiedziach. Średni odsetek zgodnych par wyniósł .736, zgodność oczekiwana .362, a kappa Fleissa .586, 95% CI [.48, .69] (bootstrap). Kappy Cohena dla sześciu par sędziów mieściły się w przedziale .53–.64.

Jak opisać w pracy

Zgodność czterech sędziów kodujących 60 wypowiedzi w trzech kategoriach (emocja, myśl, zachowanie) oceniono kappą Fleissa (Fleiss, 1971). Wyniosła ona κF = .586, 95% CI [.48, .69] (bootstrap, 2000 prób), a pełną zgodność wszystkich sędziów uzyskano dla 30 wypowiedzi (50.0%).

Na co uważać

  • Kappa Fleissa to nie średnia kapp Cohena. Średnią kapp dla par nazywa się kappą Lighta. Tutaj oba wyniki są zbliżone (.586), ale przy różnych rozkładach ocen sędziów mogą się rozjechać.
  • Rzadkie kategorie obniżają kappę. Na wielkość kappy wpływa rozpowszechnienie kategorii (Sim i Wright, 2005), więc podawaj też częstości kategorii.
  • Dobierz miarę do danych. Przy kategoriach porządkowych rozważ W Kendalla, a przy brakach ocen – alfę Krippendorffa.

Porównanie wszystkich miar na jednym zbiorze danych znajdziesz we wpisie Zgodność sędziów: kappa, ICC, alfa.

Przykład reprodukowalny

Kappa Fleissa w R

Kod liczy kappę Fleissa ręcznie, bez dodatkowych pakietów.

Kappa Fleissa z tabeli ocen

Dane wejściowe: macierz 60 × 4 z kategorią przypisaną przez każdego sędziego (dane symulowane).

Co odczytać: obserwowaną i oczekiwaną zgodność oraz κF.

R
set.seed(203)                                   # 60 wypowiedzi, 4 sędziów, 3 kategorie
N <- 60; m <- 4; kat <- c("emocja", "mysl", "zachowanie")
prawda <- sample(kat, N, TRUE, c(.45, .35, .20))
oceny <- sapply(1:m, function(j) ifelse(runif(N) < .85, prawda, sample(kat, N, TRUE)))
n_ij <- t(apply(oceny, 1, function(x) table(factor(x, levels = kat))))  # liczba ocen w kategorii
P_i <- (rowSums(n_ij^2) - m) / (m * (m - 1))    # odsetek zgodnych par dla wypowiedzi
p_j <- colSums(n_ij) / (N * m)                  # ogólne częstości kategorii
P_obs <- mean(P_i); P_exp <- sum(p_j^2)
round(c(P_obs = P_obs, P_exp = P_exp, kappa_F = (P_obs - P_exp) / (1 - P_exp)), 3)
Wynik w R
  P_obs   P_exp kappa_F
  0.736   0.362   0.586

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (funkcje pakietu base).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/

Najczęstsze pytania

Czy w kappie Fleissa każdy obiekt muszą ocenić ci sami sędziowie?

Nie. Wystarczy, że każdy obiekt ma tyle samo ocen, np. po trzy z większego zespołu. Gdy liczba ocen się różni, lepszym wyborem jest alfa Krippendorffa.

Czym kappa Fleissa różni się od kappy Lighta?

Kappa Lighta to średnia kapp Cohena dla wszystkich par sędziów. Kappa Fleissa liczy zgodność przypadkową ze wspólnych częstości kategorii, więc przy różnych rozkładach ocen sędziów wyniki mogą się różnić.

Jak policzyć kappę Fleissa w R bez pakietu irr?

Policz dla każdego obiektu liczbę ocen w każdej kategorii, z niej odsetek zgodnych par, a zgodność oczekiwaną z ogólnych częstości kategorii. Kod mieści się w kilku liniach base R.

Powiązane hasła

Kappa CohenaKappa ważonaAlfa KrippendorffaW KendallaICC – współczynnik korelacji wewnątrzklasowejKodowanie odpowiedzi otwartych

Poradniki, w których użyjesz tego pojęcia

Poradnik

Zgodność sędziów: kappa, ICC, alfa

Kappa Cohena i ważona, kappa Fleissa, formy ICC i alfa Krippendorffa na jednym przykładzie z trzema sędziami: wybór miary, paradoksy kappy i raport.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382. https://doi.org/10.1037/h0031619
  2. Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310 ● Otwarty dostęp: pełny tekst
  3. Sim, J., & Wright, C. C. (2005). The kappa statistic in reliability studies: Use, interpretation, and sample size requirements. Physical Therapy, 85(3), 257–268. https://doi.org/10.1093/ptj/85.3.257

Cytowania BibTeX

@article{fleiss1971measuring, author={Fleiss, Joseph L.}, title={{Measuring nominal scale agreement among many raters}}, journal={Psychological Bulletin}, year={1971}, volume={76}, number={5}, pages={378--382}, doi={10.1037/h0031619}}
@article{landis1977measurement, author={Landis, J. Richard and Koch, Gary G.}, title={{The measurement of observer agreement for categorical data}}, journal={Biometrics}, year={1977}, volume={33}, number={1}, pages={159--174}, doi={10.2307/2529310}}
@article{sim2005kappa, author={Sim, Julius and Wright, Chris C.}, title={{The kappa statistic in reliability studies: Use, interpretation, and sample size requirements}}, journal={Physical Therapy}, year={2005}, volume={85}, number={3}, pages={257--268}, doi={10.1093/ptj/85.3.257}}
R