Czym różni się ranking od oceny pozycji?
W ocenie pozycji (ang. rating) respondent ocenia każdą pozycję osobno na wspólnej skali, np. „Jak ważna jest dla Ciebie uczciwość?” od 1 do 7, często w formacie skali Likerta. W rankingu (ang. ranking) porządkuje cały zestaw pozycji od najważniejszej do najmniej ważnej. Rating mówi, jak wysoko osoba stawia każdą rzecz. Ranking mówi tylko, co stawia wyżej od czego.
Konsekwencje dla danych
- Ranking wymusza wybór. Dwie pozycje nie mogą zająć tego samego miejsca, więc nie da się ocenić wszystkiego jako „bardzo ważne”.
- Ranking daje dane ipsatywne. Suma rang jest u każdej osoby taka sama. Rangi pozycji są więc z konstrukcji ujemnie zależne, a klasyczna analiza czynnikowa czy alfa Cronbacha dają zniekształcone wyniki (zob. ipsatyzacja i skala ipsatywna).
- Rating pozwala porównywać poziomy między osobami, ale jest podatny na styl odpowiadania: przytakiwanie, unikanie skrajnych kategorii i jednakowe odpowiedzi na wszystko.
- Ranking jest trudniejszy przy wielu pozycjach. Uporządkowanie kilkunastu elementów męczy, więc zestaw zwykle ogranicza się do kilku pozycji albo zastępuje formatem MaxDiff.
Co pokazują badania
Alwin i Krosnick (1985) porównali oba formaty na danych z General Social Survey z 1980 roku. Kolejność wartości w całej próbie była podobna, ale struktura zmiennych latentnych stojących za odpowiedziami – już nie. Krosnick i Alwin (1988) wyjaśnili część tej rozbieżności: w ratingu niektórzy respondenci unikają trudnych wyborów i oceniają wszystkie wartości jako równie ważne. Po usunięciu osób, które nie różnicowały odpowiedzi, wyniki ratingu zbliżyły się do wyników rankingu. Autorzy uznali, że do pomiaru wartości ranking może być lepszy. Ten wzorzec przypomina straightlining.
Jak opisać w pracy
Na co uważać
- Format dobierz do pytania badawczego: priorytety i kompromisy – ranking, poziom poparcia lub nasilenia – rating.
- Nie licz korelacji między rangami pozycji jak między niezależnymi zmiennymi.
- W ratingu sprawdź odsetek osób z identycznymi odpowiedziami przed analizą.
- Wyników rankingu i ratingu nie porównuj wprost między badaniami – to różne pomiary.
Najczęstsze pytania
Czy ranking można analizować jak skalę Likerta?
Nie wprost. Suma rang jest u każdej osoby stała, więc rangi pozycji są ze sobą ujemnie powiązane. Średnie rangi porównuje się np. testem Friedmana, a analizę czynnikową i alfę Cronbacha stosuje się tylko w wersjach dla danych ipsatywnych.
Ile pozycji można dać respondentowi do uszeregowania?
Nie ma jednej granicy, ale przy wielu pozycjach zadanie staje się męczące, a środek listy bywa porządkowany przypadkowo. Przy dłuższych listach lepiej poprosić o wybór kilku najważniejszych pozycji albo zastosować MaxDiff.
Czy można zadać to samo pytanie w obu formatach?
Można, np. w pilotażu, żeby sprawdzić, czy wnioski zależą od formatu. W badaniu głównym jedna osoba zwykle dostaje jeden format, bo wcześniejsze pytanie wpływa na odpowiedzi w kolejnym.
Powiązane hasła
Poradniki, w których użyjesz tego pojęcia
Pytania rankingowe i „wybierz 3 najważniejsze”
Od eksportu z Google Forms i LimeSurvey do rang: top-1 i top-3 z CI, średnia ranga, punkty Bordy, test Friedmana, porównanie grup i pułapka ipsatywności.
Czytaj →PoradnikMaxDiff – plan badania i analiza
Plan BIBD, wyniki B − W, warunkowy logit i udziały preferencji w R oraz porównanie ze skalą Likerta na tych samych osobach.
Czytaj →PoradnikJak zrobić ankietę do pracy dyplomowej
12 kroków od hipotez do czystych danych: skale, pytania, zgoda, pilotaż, Google Forms czy LimeSurvey, książka kodów, harmonogram i lista kontrolna.
Czytaj →Potrzebujesz wsparcia w analizie danych?
Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.
Wyceń analizęOferta dla studentówBibliografia i dalsza literatura naukowa (APA 7)
- Alwin, D. F., & Krosnick, J. A. (1985). The measurement of values in surveys: A comparison of ratings and rankings. Public Opinion Quarterly, 49(4), 535–552. https://doi.org/10.1086/268949
- Krosnick, J. A., & Alwin, D. F. (1988). A test of the form-resistant correlation hypothesis: Ratings, rankings, and the measurement of values. Public Opinion Quarterly, 52(4), 526–538. https://doi.org/10.1086/269128
Cytowania BibTeX
@article{alwin1985measurement, author={Alwin, Duane F. and Krosnick, Jon A.}, title={{The measurement of values in surveys: A comparison of ratings and rankings}}, journal={Public Opinion Quarterly}, year={1985}, volume={49}, number={4}, pages={535--552}, doi={10.1086/268949}}@article{krosnick1988test, author={Krosnick, Jon A. and Alwin, Duane F.}, title={{A test of the form-resistant correlation hypothesis: Ratings, rankings, and the measurement of values}}, journal={Public Opinion Quarterly}, year={1988}, volume={52}, number={4}, pages={526--538}, doi={10.1086/269128}}