Słownik metodologiczny · Psychometria

Kappa ważona – jak mierzyć zgodność ocen na skali porządkowej?

Kappa ważona przyznaje częściową zgodność za bliskie oceny dwóch sędziów. Pokazujemy, jak działają wagi liniowe i kwadratowe, jak bardzo zmieniają wynik i jak go opisać.

Strona główna / Słownik / Kappa ważona

Opracowanie merytoryczne: · Opublikowano:

W skrócie: Kappa ważona mierzy zgodność dwóch sędziów na skali porządkowej, karząc bliskie rozbieżności słabiej niż dalekie. Wagi liniowe i kwadratowe mogą dać bardzo różne wartości dla tych samych danych, dlatego wybierz je przed analizą i zawsze podaj w opisie.

Co to jest kappa ważona?

Kappa ważona (ang. weighted kappa, κw) to odmiana kappy Cohena dla dwóch sędziów oceniających na skali porządkowej, w której bliskie rozbieżności karze się słabiej niż dalekie. Cohen (1968) pozwolił przypisać każdej komórce tabeli zgodności stopień niezgodności zamiast traktować wszystkie pomyłki jednakowo. Typowe zastosowania to ocena nasilenia objawów albo jakości prac pisemnych.

Jak dobrać wagi

wij (liniowe) = 1 − |i − j| / (k − 1),   wij (kwadratowe) = 1 − (i − j)² / (k − 1)²

i i j to numery kategorii wybranych przez sędziów, a k – liczba kategorii. Waga 1 oznacza pełną zgodność, 0 – największą rozbieżność. Przy skali 1–5 i wagach liniowych różnica o jeden stopień dostaje 0.75, o dwa – 0.50. Wagi kwadratowe są łagodniejsze dla drobnych różnic (0.94 i 0.75), a kappa ważona kwadratowo zbliża się do ICC. Sim i Wright (2005) omawiają oba warianty razem z czynnikami wpływającymi na wielkość kappy.

Przykład

Dwóch egzaminatorów oceniło 90 wypracowań na skali 1–5 (dane symulowane). Tę samą ocenę dali w 45.6% przypadków, różnicę o jeden stopień w 45.6%, a o dwa i więcej stopni w 8.9%. Kappa bez wag wyniosła .292, ważona liniowo .507, a ważona kwadratowo .695, 95% CI [.59, .80]. ICC dla pojedynczego oceniającego (zgodność bezwzględna) wyniosło .697. Po scaleniu skali do trzech kategorii kappa bez wag wzrosła do .418, a ważona kwadratowo spadła do .670.

Jak opisać w pracy

Zgodność dwóch egzaminatorów oceniających 90 wypracowań na skali 1–5 oceniono kappą ważoną z wagami kwadratowymi (Cohen, 1968): κw = .695, 95% CI [.59, .80]. Dla porównania kappa bez wag wyniosła .292, a ważona liniowo .507; 45.6% ocen było identycznych, a 8.9% różniło się o dwa lub więcej stopni.

Na co uważać

  • Wybierz wagi przed analizą i podaj je w opisie. Te same dane dały wartości od .292 do .695.
  • Wynik zależy od liczby kategorii. Scalanie lub dzielenie kategorii zmienia kappę, więc porównuj tylko wyniki dla tej samej skali.
  • Nie używaj wag dla kategorii nominalnych. Nie mają one odległości.
  • Przy ocenach liczbowych rozważ ICC. Hallgren (2012) pokazuje ICC jako miarę dla danych porządkowych, przedziałowych i ilorazowych, a kappę Cohena – dla nominalnych.

Przy trzech i więcej sędziach oceniających porządkowo sięgnij po alfę Krippendorffa w wersji porządkowej albo ICC; kappa Fleissa służy kategoriom nominalnym. Wszystkie miary zgodności porównuje wpis Zgodność sędziów: kappa, ICC, alfa.

Najczęstsze pytania

Wagi liniowe czy kwadratowe w kappie ważonej?

Kwadratowe, gdy różnica o jeden stopień ma niewielkie znaczenie praktyczne; liniowe, gdy każdy krok skali jest równie ważny. Decyzję podejmij przed analizą i uzasadnij w metodzie.

Dlaczego kappa ważona jest wyższa niż zwykła kappa?

Bo bliskie rozbieżności liczą się jako częściowa zgodność. Gdy większość niezgodności dotyczy sąsiednich kategorii, kappa ważona może być nawet dwa razy wyższa od kappy bez wag.

Czy kappa ważona kwadratowo to to samo co ICC?

Przy dwóch sędziach daje zwykle bardzo zbliżoną wartość do ICC dla zgodności bezwzględnej. W przykładzie na tej stronie wyniki wyniosły .695 i .697.

Powiązane hasła

Kappa CohenaKappa FleissaICC – współczynnik korelacji wewnątrzklasowejSkala porządkowaAlfa Krippendorffa

Poradniki, w których użyjesz tego pojęcia

Poradnik

Zgodność sędziów: kappa, ICC, alfa

Kappa Cohena i ważona, kappa Fleissa, formy ICC i alfa Krippendorffa na jednym przykładzie z trzema sędziami: wybór miary, paradoksy kappy i raport.

Czytaj →Poradnik

Badanie rzetelności pomiaru klinicznego

Plan badania powtarzalności, forma ICC, SEM i MDC95, wykres Blanda–Altmana, zgodność dwóch urządzeń i raport według GRRAS – z przykładem w R.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Cohen, J. (1968). Weighted kappa: Nominal scale agreement provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213–220. https://doi.org/10.1037/h0026256
  2. Hallgren, K. A. (2012). Computing inter-rater reliability for observational data: An overview and tutorial. Tutorials in Quantitative Methods for Psychology, 8(1), 23–34. https://doi.org/10.20982/tqmp.08.1.p023 ● Otwarty dostęp
  3. Sim, J., & Wright, C. C. (2005). The kappa statistic in reliability studies: Use, interpretation, and sample size requirements. Physical Therapy, 85(3), 257–268. https://doi.org/10.1093/ptj/85.3.257

Cytowania BibTeX

@article{cohen1968weighted, author={Cohen, Jacob}, title={{Weighted kappa: Nominal scale agreement provision for scaled disagreement or partial credit}}, journal={Psychological Bulletin}, year={1968}, volume={70}, number={4}, pages={213--220}, doi={10.1037/h0026256}}
@article{hallgren2012computing, author={Hallgren, Kevin A.}, title={{Computing inter-rater reliability for observational data: An overview and tutorial}}, journal={Tutorials in Quantitative Methods for Psychology}, year={2012}, volume={8}, number={1}, pages={23--34}, doi={10.20982/tqmp.08.1.p023}}
@article{sim2005kappa, author={Sim, Julius and Wright, Chris C.}, title={{The kappa statistic in reliability studies: Use, interpretation, and sample size requirements}}, journal={Physical Therapy}, year={2005}, volume={85}, number={3}, pages={257--268}, doi={10.1093/ptj/85.3.257}}
R