Kalkulator kappy Cohena i testu McNemara: zgodność oceniających i zmiana w parach tak/nie

Autor: Konrad Hryniewicz · Opublikowano: 28 października 2026

Kalkulator kappy Cohena i testu McNemara

Jak używać kalkulatora

Kalkulator odpowiada na dwa różne pytania o dane kategorialne zebrane parami. Pierwsze brzmi: czy dwie osoby oceniające te same obiekty przypisują je do tych samych kategorii? Drugie: czy odsetek odpowiedzi „tak” zmienił się między dwoma pomiarami u tych samych osób? Oba pytania zaczynają się od tabeli krzyżowej, ale odpowiedzi na nie dają różne statystyki.

1. Tryb (a): kappa. Wybierz liczbę kategorii (2–6) i wpisz tabelę krzyżową ocen: w wierszu kategoria nadana przez osobę A, w kolumnie – przez osobę B. Jeśli masz oceny w dwóch kolumnach arkusza, wklej je w pole tekstowe i kliknij „Wypełnij tabelę z ocen”. Kalkulator sam policzy liczebności. Kategorie zakodowane liczbami ułoży rosnąco, a kategorie słowne – w kolejności pojawienia się w danych.
2. Tryb (b): McNemar. Wpisz tabelę 2 × 2 par: ile osób odpowiedziało „tak” w obu pomiarach (a), „tak”, a potem „nie” (b), „nie”, a potem „tak” (c) i „nie” w obu (d). Pomiarami mogą być ocena przed i po zajęciach, ale też dwa narzędzia zastosowane u tych samych osób.
3. Wynik. Pod tabelą pojawia się wynik i gotowy opis do pracy. Przedziały ufności możesz policzyć na poziomie 90%, 95% albo 99%.

Zwykła kappa Cohena traktuje każdą niezgodność jednakowo. Gdy kategorie są uporządkowane, jak nasilenie objawu, kalkulator liczy też kappę ważoną. Wtedy pomyłka o jedną kategorię waży mniej niż pomyłka o trzy. Przy dwóch kategoriach obie kappy są równe.

Wzory

Niech p_ij oznacza odsetek jednostek, którym osoba A nadała kategorię i, a osoba B – kategorię j. Niech p_i+ i p_+j oznaczają odsetki brzegowe. Kappa Cohena (1960) porównuje zgodność obserwowaną z zgodnością, jakiej należałoby się spodziewać, gdyby obie osoby oceniały niezależnie od siebie, z zachowaniem swoich rozkładów ocen:

Kappa ważona (Cohen, 1968) używa tych samych składników, ale każdą komórkę mnoży przez wagę zgodności w_ij. Komórki na przekątnej mają wagę 1. Przy k kategoriach kalkulator stosuje dwa standardowe zestawy wag:

Błąd standardowy liczony jest asymptotycznym wzorem Fleissa, Cohena i Everitta (1969). Autorzy wykazali, że wzory podane w pracach źródłowych Cohena były niepoprawne. Z tego samego wzoru korzystają funkcje cohen.kappa() z pakietu psych i CohenKappa() z pakietu DescTools. Przedział ufności to κ ± z × SE. Gdy granica wychodzi poza zakres od −1 do 1, kalkulator ją obcina i informuje o tym.

Test McNemara (1947) korzysta tylko z par niezgodnych, czyli komórek b i c. Pary zgodne nie mówią nic o zmianie odsetka. W wersji z poprawką na ciągłość od |b − c| odejmuje się 1:

Wersja dokładna to dwustronny test dwumianowy: przy prawdziwej hipotezie zerowej każda para niezgodna z prawdopodobieństwem .5 trafia do b albo do c. Wersja mid-p odejmuje od tej wartości prawdopodobieństwo samego wyniku obserwowanego: p_mid = 2P(X ≤ min) − P(X = min). Różnica odsetków „tak” (pomiar 2 − pomiar 1) wynosi (c − b) / N. Domyślny przedział to metoda 10 Newcombe’a (1998). Łączy ona przedziały Wilsona obu odsetków z poprawką na korelację par φ. Dla porównania kalkulator podaje przedział Walda i Walda z poprawką Agrestiego–Mina (+0.5 w każdej komórce).

Przykład liczbowy

Dwie psycholożki niezależnie oceniły nasilenie objawów depresji w 150 opisach przypadków na skali: brak, łagodne, umiarkowane, ciężkie (dane przykładowe). Zgodnie oceniły 113 opisów. Spośród 37 rozbieżności 33 dotyczyły sąsiednich kategorii, a 4 – kategorii odległych o dwa stopnie. Wszystkie liczby poniżej pochodzą z kodu R w następnej sekcji i są wpisane domyślnie w kalkulator.

Kappa = .66 oznacza, że niezgodności było o około dwie trzecie mniej, niż można by oczekiwać przy ocenach przypadkowych. Kappy ważone są wyższe, bo prawie wszystkie rozbieżności dotyczyły sąsiednich kategorii, a wagi traktują je jako częściową zgodność. Rozkłady ocen obu osób były podobne: „ciężkie” wybrała w 15.3% opisów osoba A i w 14.7% osoba B.

Drugi przykład dotyczy trybu (b). U tych samych 120 osób zastosowano krótki kwestionariusz przesiewowy i ustrukturyzowany wywiad diagnostyczny. Wywiad wskazał zaburzenie u 27.5% osób, a kwestionariusz – u 35.0%. Rozbieżności nie są symetryczne: 14 osób zostało wskazanych tylko przez kwestionariusz, a 5 – tylko przez wywiad.

Ten przykład dobrze pokazuje, że wersje testu McNemara mogą prowadzić do różnych wniosków. Wersja asymptotyczna bez poprawki i mid-p dają p < .05, a wersja z poprawką i dokładna – nie. Fagerland i in. (2013) w symulacjach zalecają wersję mid-p albo asymptotyczną bez poprawki. Wersje dokładna warunkowa i z poprawką na ciągłość nie sprawdziły się w żadnym z badanych scenariuszy. Przedział Newcombe’a nie obejmuje zera, ale jego dolna granica jest tuż nad nim. Dane wskazują, że kwestionariusz sygnalizuje zaburzenie częściej niż wywiad, ale różnica może wynosić od pół punktu do kilkunastu punktów procentowych.

# K13 – kappa Cohena dla dwóch oceniających i test McNemara dla danych sparowanych
suppressPackageStartupMessages({library(DescTools); library(psych)})

# (a) Dwie psycholożki niezależnie oceniły nasilenie objawów depresji w 150 opisach przypadków
kat <- c("brak", "łagodne", "umiarkowane", "ciężkie")
oceny <- matrix(c(38,  6,  1,  0,
                   5, 31,  7,  1,
                   1,  6, 27,  4,
                   0,  1,  5, 17), nrow = 4, byrow = TRUE,
                dimnames = list(A = kat, B = kat))
p_o <- sum(diag(oceny)) / sum(oceny)                               # zgodność obserwowana
p_e <- sum(rowSums(oceny) * colSums(oceny)) / sum(oceny)^2         # zgodność oczekiwana
round(c(N = sum(oceny), p_o = p_o, p_e = p_e), 3)
round(100 * rbind(A = rowSums(oceny), B = colSums(oceny)) / sum(oceny), 1)   # rozkład ocen (%)
tapply(oceny, abs(row(oceny) - col(oceny)), sum)                   # zgodne (0) i rozbieżne o 1, 2, 3 kategorie
round(rbind(
  niewazona  = CohenKappa(oceny, conf.level = .95),
  liniowa    = CohenKappa(oceny, weights = "Equal-Spacing", conf.level = .95),
  kwadratowa = CohenKappa(oceny, weights = "Fleiss-Cohen", conf.level = .95)), 3)
ck <- cohen.kappa(oceny)                                           # psych: te same kappy, wagi kwadratowe
round(c(SE = sqrt(ck$var.kappa), SE_kwadratowa = sqrt(ck$var.weighted)), 4)

# (b) Kwestionariusz przesiewowy a wywiad diagnostyczny u tych samych 120 osób
pary <- matrix(c(28,  5,
                 14, 73), nrow = 2, byrow = TRUE,
               dimnames = list(wywiad = c("tak", "nie"), kwestionariusz = c("tak", "nie")))
a <- pary[1, 1]; b <- pary[1, 2]; c <- pary[2, 1]; d <- pary[2, 2]; n <- sum(pary)
round(100 * c(wywiad = (a + b) / n, kwestionariusz = (a + c) / n), 1)
mcnemar.test(pary, correct = FALSE)                                # asymptotyczny bez poprawki
mcnemar.test(pary)                                                 # z poprawką na ciągłość
p_dokladny <- binom.test(b, b + c, p = .5)$p.value
p_midp <- 2 * pbinom(min(b, c), b + c, .5) - dbinom(min(b, c), b + c, .5)
round(c(dokladny = p_dokladny, mid_p = p_midp), 3)

# Różnica odsetków (kwestionariusz − wywiad) z 95% CI trzema metodami
z <- qnorm(.975)
wald <- function(a, b, c, d) {
  n <- a + b + c + d; r <- (c - b) / n
  se <- sqrt((b + c) - (c - b)^2 / n) / n
  c(r - z * se, r + z * se)
}
wilson <- function(x, n) {
  p <- x / n
  srodek <- (p + z^2 / (2 * n)) / (1 + z^2 / n)
  pol <- z * sqrt(p * (1 - p) / n + z^2 / (4 * n^2)) / (1 + z^2 / n)
  c(srodek - pol, srodek + pol)
}
newcombe <- function(a, b, c, d) {                                 # metoda 10 Newcombe'a (1998)
  n <- a + b + c + d
  p2 <- (a + c) / n; p1 <- (a + b) / n
  w2 <- wilson(a + c, n); w1 <- wilson(a + b, n)
  mian <- sqrt((a + b) * (c + d) * (a + c) * (b + d))
  phi <- if (mian == 0) 0 else (a * d - b * c) / mian
  r <- p2 - p1
  c(r - sqrt((p2 - w2[1])^2 - 2 * phi * (p2 - w2[1]) * (w1[2] - p1) + (w1[2] - p1)^2),
    r + sqrt((w2[2] - p2)^2 - 2 * phi * (w2[2] - p2) * (p1 - w1[1]) + (p1 - w1[1])^2))
}
round(100 * (c - b) / n, 1)
przedzialy <- rbind(
  `Newcombe (10)` = newcombe(a, b, c, d),
  `Agresti–Min`   = wald(a + .5, b + .5, c + .5, d + .5),          # +0.5 w każdej komórce
  Wald            = wald(a, b, c, d))
colnames(przedzialy) <- c("dolna", "gorna")
round(100 * przedzialy, 1)

# Zgodność obu narzędzi to inne pytanie niż różnica odsetków: kappa dla tej samej tabeli
round(CohenKappa(pary, conf.level = .95), 3)

      N     p_o     p_e 
150.000   0.753   0.264 
  brak łagodne umiarkowane ciężkie
A 30.0    29.3        25.3    15.3
B 29.3    29.3        26.7    14.7
  0   1   2   3 
113  33   4   0 
           kappa lwr.ci upr.ci
niewazona  0.665  0.571  0.759
liniowa    0.764  0.691  0.836
kwadratowa 0.850  0.791  0.908
           SE SE_kwadratowa 
       0.0478        0.0298 
        wywiad kwestionariusz 
          27.5           35.0 

	McNemar's Chi-squared test

data:  pary
McNemar's chi-squared = 4.2632, df = 1, p-value = 0.03895


	McNemar's Chi-squared test with continuity correction

data:  pary
McNemar's chi-squared = 3.3684, df = 1, p-value = 0.06646

dokladny    mid_p 
   0.064    0.041 
[1] 7.5
              dolna gorna
Newcombe (10)   0.5  14.5
Agresti–Min     0.3  14.4
Wald            0.5  14.5
 kappa lwr.ci upr.ci 
 0.634  0.486  0.781 

Jak interpretować wynik

Kappa mówi o zgodności ponad przypadek, a nie o trafności. Dwie osoby mogą się zgadzać i obie się mylić. Kappa = 0 oznacza zgodność taką jak przy losowych ocenach, kappa = 1 – pełną zgodność, a wartości ujemne – zgodność niższą niż przypadkowa. Landis i Koch (1977) zaproponowali etykiety słowne: do .20 zgodność nieznaczna, .21–.40 słaba, .41–.60 umiarkowana, .61–.80 znaczna i powyżej .80 prawie doskonała. To umowa, a nie wynik badań, więc w pracy podawaj zawsze samą wartość z przedziałem ufności. Sim i Wright (2005) omawiają ocenę wielkości kappy razem z jej przedziałem ufności i czynnikami, które na nią wpływają.

• Częstość kategorii. Gdy jedna kategoria dominuje, zgodność oczekiwana jest wysoka, a kappa spada nawet przy niemal pełnej zgodności. W tabeli z 90 zgodnymi ocenami „nie”, 2 zgodnymi „tak” i 8 rozbieżnościami zgodność wynosi 92%, a kappa tylko .29, 95% CI [−.07, .65]. Sim i Wright (2005) wymieniają częstość kategorii i stronniczość oceniających wśród czynników, od których zależy wielkość kappy. Dlatego obok kappy podawaj procent zgodności i rozkład kategorii.
• Kappa ważona zależy od wag. Przy wagach kwadratowych pomyłki o jedną kategorię prawie się nie liczą, więc kappa wychodzi wyższa. Wybierz wagi przed analizą i podaj je w pracy.
• Różnica rozkładów a zgodność. Dwie osoby mogą się różnić odsetkiem ocen „tak”. Przy dwóch kategoriach sprawdzisz to testem McNemara na tej samej tabeli. W przykładzie kwestionariusza i wywiadu kappa = .63 wskazuje na znaczną zgodność, a mimo to kwestionariusz częściej wskazuje zaburzenie.

Test McNemara mówi o różnicy odsetków, a nie o zgodności. Istotny wynik oznacza, że odsetek „tak” w pomiarze 2 różni się od odsetka w pomiarze 1. Wielkość tej różnicy pokazuje przedział ufności w punktach procentowych. W badaniu przed i po wynik nie dowodzi, że zmianę wywołała interwencja. Więcej o tym schemacie piszemy w poradniku o teście McNemara w pomiarze przed i po, a o samym teście – w haśle test McNemara. Jeśli porównujesz odsetki w dwóch niezależnych grupach, użyj kalkulatora tabeli 2×2. Gdy porównujesz narzędzie z wzorcem, pełniejszy obraz dają czułość i swoistość z kalkulatora testu diagnostycznego.

Ograniczenia

• Tylko dwóch oceniających. Gdy oceniających jest więcej, użyj kappy Fleissa albo alfy Krippendorffa, która radzi sobie też z brakami danych. Porównanie miar znajdziesz we wpisie o zgodności sędziów.
• Oceny liczbowe to inny problem. Dla wyników na skali ilościowej lepszy jest współczynnik ICC, opisany w poradniku o badaniu rzetelności pomiaru klinicznego. ICC dla danych zgrupowanych policzysz w kalkulatorze ICC i efektu schematu.
• Przedział kappy jest asymptotyczny. Przy kilkudziesięciu jednostkach i skrajnych rozkładach kategorii jest tylko przybliżeniem. Kalkulator nie liczy przedziałów bootstrapowych.
• Kategorie muszą być te same. Obie osoby muszą korzystać z tej samej listy kategorii. Kategoria, której nikt nie użył, nie zmienia kappy, ale zmienia wagi kappy ważonej, bo zmienia się k.
• McNemar tylko dla dwóch pomiarów. Dla trzech i więcej pomiarów tak/nie służy test Q Cochrana. Dla odpowiedzi z więcej niż dwiema kategoriami test McNemara się nie nadaje.

Zapis w pracy (APA)

Przy kappie podaj liczbę ocenianych jednostek, procent zgodności, kappę z przedziałem ufności, a przy kappie ważonej – rodzaj wag. Kappę zapisuj bez zera wiodącego, bo nie przekracza 1. Przy teście McNemara podaj liczebności par niezgodnych, wersję testu i różnicę odsetków z przedziałem ufności oraz nazwą metody.

Gotowe zdania dla innych testów znajdziesz w generatorze opisu wyników APA. Jak porównać odsetki w dwóch niezależnych grupach, opisuje poradnik jak porównać odsetki w dwóch grupach.

Najczęstsze pytania

Jak policzyć kappę Cohena z tabeli zgodności w R?

Wpisz tabelę jako macierz (wiersze – oceniający A, kolumny – oceniający B) i użyj DescTools::CohenKappa(tab, conf.level = .95); kappę ważoną dostaniesz z argumentem weights = "Equal-Spacing" (wagi liniowe) albo "Fleiss-Cohen" (kwadratowe). Funkcja psych::cohen.kappa(tab) daje te same wartości i domyślnie wagi kwadratowe. W przykładzie na tej stronie obie zwracają κ = .665, 95% CI [.571, .759].

Jak przenieść oceny dwóch sędziów z arkusza do kalkulatora kappy?

Skopiuj z arkusza dwie kolumny – ocenę osoby A i osoby B dla każdej jednostki – i wklej je w pole tekstowe kalkulatora, a następnie kliknij „Wypełnij tabelę z ocen”. Kalkulator sam zliczy tabelę zgodności. Kategorie zakodowane liczbami ułoży rosnąco, co ma znaczenie dla kappy ważonej; przy kategoriach słownych sprawdź kolejność albo zakoduj je liczbami.

Czy przedział ufności kappy może wyjść poza zakres od −1 do 1?

Tak, przy małej liczbie jednostek albo kappie bliskiej 1 przedział asymptotyczny κ ± z × SE może przekroczyć 1, bo nie uwzględnia ograniczeń zakresu. Kalkulator obcina wtedy granicę do 1 (albo −1) i o tym informuje. Taki wynik to sygnał, że próba jest mała, a przedział jest tylko przybliżeniem.

Czym różni się pytanie o zgodność od pytania o różnicę odsetków w tabeli 2 × 2?

Kappa mówi, jak często dwie oceny są takie same ponad zgodność przypadkową, a test McNemara – czy jedna z nich częściej daje odpowiedź „tak”. W przykładzie kwestionariusza i wywiadu zgodność jest znaczna (κ = .63), a mimo to kwestionariusz wskazuje zaburzenie o 7.5 punktu procentowego częściej, χ²(1) = 4.26, p = .039. Dla dwóch kategorii warto podać obie miary.

Który przedział dla różnicy odsetków sparowanych wybrać w kalkulatorze?

Domyślnie kalkulator liczy przedział Newcombe’a (metoda 10), który w porównaniu Newcombe’a (1998) działał dobrze, w przeciwieństwie do przedziału Walda. Przedział Walda bywa zbyt wąski przy małej liczbie par niezgodnych, a poprawka Agrestiego–Mina (+0.5 w każdej komórce) częściowo to naprawia. W pracy zawsze podaj nazwę metody.

Powiązane hasła

Przeczytaj też

@article{cohen1960coefficient, author={Cohen, Jacob}, title={{A coefficient of agreement for nominal scales}}, journal={Educational and Psychological Measurement}, year={1960}, volume={20}, number={1}, pages={37--46}, doi={10.1177/001316446002000104}}

@article{cohen1968weighted, author={Cohen, Jacob}, title={{Weighted kappa: Nominal scale agreement provision for scaled disagreement or partial credit}}, journal={Psychological Bulletin}, year={1968}, volume={70}, number={4}, pages={213--220}, doi={10.1037/h0026256}}

@article{fagerland2013mcnemar, author={Fagerland, Morten W. and Lydersen, Stian and Laake, Petter}, title={{The McNemar test for binary matched-pairs data: Mid-p and asymptotic are better than exact conditional}}, journal={BMC Medical Research Methodology}, year={2013}, volume={13}, number={1}, eid={91}, doi={10.1186/1471-2288-13-91}}

@article{fleiss1969large, author={Fleiss, Joseph L. and Cohen, Jacob and Everitt, B. S.}, title={{Large sample standard errors of kappa and weighted kappa}}, journal={Psychological Bulletin}, year={1969}, volume={72}, number={5}, pages={323--327}, doi={10.1037/h0028106}}

@article{landis1977measurement, author={Landis, J. Richard and Koch, Gary G.}, title={{The measurement of observer agreement for categorical data}}, journal={Biometrics}, year={1977}, volume={33}, number={1}, pages={159--174}, doi={10.2307/2529310}}

@article{mcnemar1947note, author={McNemar, Quinn}, title={{Note on the sampling error of the difference between correlated proportions or percentages}}, journal={Psychometrika}, year={1947}, volume={12}, number={2}, pages={153--157}, doi={10.1007/bf02295996}}

@article{newcombe1998improved, author={Newcombe, Robert G.}, title={{Improved confidence intervals for the difference between binomial proportions based on paired data}}, journal={Statistics in Medicine}, year={1998}, volume={17}, number={22}, pages={2635--2650}, doi={10.1002/(sici)1097-0258(19981130)17:22<2635::aid-sim954>3.0.co;2-c}}

@article{sim2005kappa, author={Sim, Julius and Wright, Chris C.}, title={{The kappa statistic in reliability studies: Use, interpretation, and sample size requirements}}, journal={Physical Therapy}, year={2005}, volume={85}, number={3}, pages={257--268}, doi={10.1093/ptj/85.3.257}}