Słownik metodologiczny · Pomiar i skale

Ranking a ocena pozycji (rating) – czym się różnią i który format wybrać?

W rankingu respondent porządkuje pozycje względem siebie, w ratingu ocenia każdą osobno. Wyjaśniamy, jak format wpływa na dane i analizę, co wykazały badania Alwina i Krosnicka oraz jak opisać wybór w pracy.

Strona główna / Słownik / Ranking a rating
W skrócie: Ranking polega na uporządkowaniu zestawu pozycji od najważniejszej do najmniej ważnej, a ocena pozycji (rating) – na ocenie każdej z nich osobno na wspólnej skali. Ranking wymusza wybór i daje dane ipsatywne, rating pozwala porównywać poziomy, ale jest podatny na jednakowe odpowiedzi.

Czym różni się ranking od oceny pozycji?

W ocenie pozycji (ang. rating) respondent ocenia każdą pozycję osobno na wspólnej skali, np. „Jak ważna jest dla Ciebie uczciwość?” od 1 do 7, często w formacie skali Likerta. W rankingu (ang. ranking) porządkuje cały zestaw pozycji od najważniejszej do najmniej ważnej. Rating mówi, jak wysoko osoba stawia każdą rzecz. Ranking mówi tylko, co stawia wyżej od czego.

Konsekwencje dla danych

  • Ranking wymusza wybór. Dwie pozycje nie mogą zająć tego samego miejsca, więc nie da się ocenić wszystkiego jako „bardzo ważne”.
  • Ranking daje dane ipsatywne. Suma rang jest u każdej osoby taka sama. Rangi pozycji są więc z konstrukcji ujemnie zależne, a klasyczna analiza czynnikowa czy alfa Cronbacha dają zniekształcone wyniki (zob. ipsatyzacja i skala ipsatywna).
  • Rating pozwala porównywać poziomy między osobami, ale jest podatny na styl odpowiadania: przytakiwanie, unikanie skrajnych kategorii i jednakowe odpowiedzi na wszystko.
  • Ranking jest trudniejszy przy wielu pozycjach. Uporządkowanie kilkunastu elementów męczy, więc zestaw zwykle ogranicza się do kilku pozycji albo zastępuje formatem MaxDiff.

Co pokazują badania

Alwin i Krosnick (1985) porównali oba formaty na danych z General Social Survey z 1980 roku. Kolejność wartości w całej próbie była podobna, ale struktura zmiennych latentnych stojących za odpowiedziami – już nie. Krosnick i Alwin (1988) wyjaśnili część tej rozbieżności: w ratingu niektórzy respondenci unikają trudnych wyborów i oceniają wszystkie wartości jako równie ważne. Po usunięciu osób, które nie różnicowały odpowiedzi, wyniki ratingu zbliżyły się do wyników rankingu. Autorzy uznali, że do pomiaru wartości ranking może być lepszy. Ten wzorzec przypomina straightlining.

Jak opisać w pracy

Wartości mierzono metodą rankingu: respondenci uporządkowali sześć wartości od najważniejszej (1) do najmniej ważnej (6). Ze względu na ipsatywny charakter danych porównano średnie rangi testem Friedmana i nie obliczano alfy Cronbacha.

Na co uważać

  • Format dobierz do pytania badawczego: priorytety i kompromisy – ranking, poziom poparcia lub nasilenia – rating.
  • Nie licz korelacji między rangami pozycji jak między niezależnymi zmiennymi.
  • W ratingu sprawdź odsetek osób z identycznymi odpowiedziami przed analizą.
  • Wyników rankingu i ratingu nie porównuj wprost między badaniami – to różne pomiary.

Najczęstsze pytania

Czy ranking można analizować jak skalę Likerta?

Nie wprost. Suma rang jest u każdej osoby stała, więc rangi pozycji są ze sobą ujemnie powiązane. Średnie rangi porównuje się np. testem Friedmana, a analizę czynnikową i alfę Cronbacha stosuje się tylko w wersjach dla danych ipsatywnych.

Ile pozycji można dać respondentowi do uszeregowania?

Nie ma jednej granicy, ale przy wielu pozycjach zadanie staje się męczące, a środek listy bywa porządkowany przypadkowo. Przy dłuższych listach lepiej poprosić o wybór kilku najważniejszych pozycji albo zastosować MaxDiff.

Czy można zadać to samo pytanie w obu formatach?

Można, np. w pilotażu, żeby sprawdzić, czy wnioski zależą od formatu. W badaniu głównym jedna osoba zwykle dostaje jeden format, bo wcześniejsze pytanie wpływa na odpowiedzi w kolejnym.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Alwin, D. F., & Krosnick, J. A. (1985). The measurement of values in surveys: A comparison of ratings and rankings. Public Opinion Quarterly, 49(4), 535–552. https://doi.org/10.1086/268949
  2. Krosnick, J. A., & Alwin, D. F. (1988). A test of the form-resistant correlation hypothesis: Ratings, rankings, and the measurement of values. Public Opinion Quarterly, 52(4), 526–538. https://doi.org/10.1086/269128

Cytowania BibTeX

@article{alwin1985measurement, author={Alwin, Duane F. and Krosnick, Jon A.}, title={{The measurement of values in surveys: A comparison of ratings and rankings}}, journal={Public Opinion Quarterly}, year={1985}, volume={49}, number={4}, pages={535--552}, doi={10.1086/268949}}
@article{krosnick1988test, author={Krosnick, Jon A. and Alwin, Duane F.}, title={{A test of the form-resistant correlation hypothesis: Ratings, rankings, and the measurement of values}}, journal={Public Opinion Quarterly}, year={1988}, volume={52}, number={4}, pages={526--538}, doi={10.1086/269128}}
R