Publikacje naukowe · Badania preferencji

MaxDiff (best–worst scaling) – plan badania i analiza

Jedenaście cech, każda „bardzo ważna” na skali Likerta – i nic z tego nie wynika. Pokazujemy, jak zaplanować badanie MaxDiff w układzie BIBD, policzyć wyniki zliczeniowe i warunkowy model logitowy, przeliczyć je na udziały preferencji i uczciwie opisać uproszczenia.

Strona główna / Blog / MaxDiff – plan i analiza
W skrócie: W MaxDiff respondent w każdym małym zestawie wskazuje element najważniejszy i najmniej ważny. Zestawy układa się według planu zbalansowanego (BIBD), w którym każdy element i każda para elementów pojawia się tyle samo razy. Wynik zliczeniowy (B − W) i warunkowy model logitowy dają przy takim planie ten sam porządek; model dodaje błędy standardowe i udziały preferencji. Wyniki są względne (ipsatywne): mówią, co jest ważniejsze od czego, a nie czy coś jest ważne w ogóle.

MaxDiff: wybór zamiast oceny

MaxDiff, czyli best–worst scaling (BWS), mierzy względną ważność kilkunastu elementów: cech pracy, oczekiwań pacjentów, argumentów kampanii, celów polityki. Respondent widzi kilka zestawów po kilka elementów i w każdym wskazuje najważniejszy i najmniej ważny. Louviere i in. (2015) opisują tę metodę jako rozszerzenie porównań parami na wybory z większych zbiorów. Krótką definicję znajdziesz w haśle MaxDiff (best–worst scaling), a tutaj pokazujemy, jak zaplanować badanie i jak je policzyć.

Pierwotną postacią metody jest przypadek obiektów (ang. object case, case 1), zaproponowany przez Finna i Louviere'a (1992) w badaniu oczekiwań wobec polityki bezpieczeństwa żywności. Mühlbacher i in. (2016) wyróżniają jeszcze przypadek profili i wielu profili. Te dwa warianty są bliżej analizy conjoint, bo respondent ocenia poziomy atrybutów, a nie same elementy. Flynn i in. (2007) pokazują, że zadanie best–worst pozwala porównać ważność cech między sobą, czego nie dają parametry zwykłego eksperymentu wyboru. W tym wpisie zajmujemy się wyłącznie przypadkiem obiektów.

Skala Likerta, ranking i MaxDiff: zadanie respondenta i typowe ograniczenia
MetodaZadanie respondentaCo otrzymujeszGłówne ograniczenie
Skala Likertaocenia każdy element osobno, np. 1–5średnie ocen, wyniki porównywalne między osobami tylko przy tym samym stylu odpowiadaniawszystko może być „bardzo ważne”; style odpowiedzi i efekt sufitu
Rankingporządkuje wszystkie elementypełny porządek u każdej osobyprzy kilkunastu elementach zadanie męczy, a środkowe pozycje bywają przypadkowe
MaxDiffw każdym małym zestawie wskazuje element najlepszy i najgorszywyniki na wspólnej skali ważności, liczone z wyborówwynik względny (ipsatywny); brak informacji, czy cokolwiek jest ważne w sensie bezwzględnym

Mühlbacher i in. (2016) przypominają, że przypadek obiektów pomyślano jako zastępstwo ocen i skal Likerta, bo omija ich znane słabości. Lee i in. (2007) porównali MaxDiff z ocenami i rangowaniem na liście wartości Kahle'a. Wyniki sugerują, że wybory best–worst mogą dawać lepsze oszacowania. Ceną jest to, że wynik jest ipsatywny: mówi, co jest ważniejsze od czego, a nie, czy coś jest ważne w ogóle. Jeśli to drugie też Cię interesuje, dodaj jedno pytanie z oceną porządkową albo pozostań przy skali (zob. ile stopni skali Likerta wybrać).

Plan badania: lista elementów i zestawy

Lista elementów. Elementy muszą być jednowymiarowe, krótkie i porównywalne. Element „dobra atmosfera i miły szef” łączy dwie rzeczy i psuje pomiar tak samo jak pytanie dwuznaczne w zwykłej ankiecie. Listę sprawdź w badaniu pilotażowym: czy respondenci rozumieją każdy element tak samo i czy żaden nie dominuje wszystkich wyborów.

Plan zbalansowany. Najczęściej używa się zbalansowanego niekompletnego układu blokowego (BIBD). Każdy element pojawia się tyle samo razy (r), każdy zestaw ma tyle samo elementów (k), a każda para elementów występuje razem tyle samo razy (λ). W przeglądzie badań zdrowotnych Cheunga i in. (2016) ten plan miało 54% badań typu obiektów. Liczby nie są dowolne: z v elementów otrzymasz b = v × r / k zestawów, a λ = r × (k − 1) / (v − 1) musi być liczbą całkowitą.

Przykładowe parametry zbalansowanych niekompletnych układów blokowych dla MaxDiff
Elementy vElementów w zestawie kPokazań elementu rZestawy bWspólne wystąpienia pary λ
73371
934121
1155112
1344131
1645201

Zwykle stosuje się małe zestawy, np. po 4–5 elementów: większy zestaw daje więcej informacji z jednego ekranu, ale utrudnia wybór. Gdy żaden BIBD nie pasuje do Twojej listy, użyj planu prawie zbalansowanego i sprawdź częstości elementów i par. Kolejność zestawów i pozycje elementów w zestawie losuj dla każdej osoby (randomizacja), bo element pokazywany zawsze na górze może dostawać dodatkowe wskazania. To ten sam mechanizm co efekt kolejności pytań.

Ile zestawów na osobę? W podstawowym wariancie każdy respondent odpowiada na wszystkie b zestawów. Dzięki temu masz wyniki indywidualne i możesz szukać segmentów. Przy długiej liście plan dzieli się na wersje (bloki) przydzielane losowo. Wyniki indywidualne są wtedy mniej dokładne. Plan, liczbę wersji i regułę analizy zapisz przed zebraniem danych (zob. plan analizy i prerejestracja).

Przykład: co jest najważniejsze w pracy

Pracownicy (N = 300, dane symulowane, set.seed(3250)) wybierali spośród 11 cech pracy, m.in. wynagrodzenia, stabilności zatrudnienia, atmosfery w zespole i pracy zdalnej. Plan to cykliczny BIBD z v = 11, k = 5, r = 5, czyli 11 zestawów, w których każda para cech występuje razem dokładnie 2 razy (rysunek 1). Razem daje to 3300 odpowiedzi na zestawy. Dane w formacie jeden wiersz = jeden zestaw u jednej osoby są w pliku CSV.

Macierz 11 cech pracy na 11 zestawów: w każdej kolumnie zaznaczono 5 cech, każda cecha jest zaznaczona w 5 zestawach, a każda para cech występuje razem w 2 zestawach
Rysunek 1. Zbalansowany niekompletny układ blokowy dla 11 cech. Każdy zestaw (kolumna) to jeden ekran ankiety z 5 cechami. Obliczenia: R.

Wyniki zliczeniowe: B, W i B − W

Najprostsza analiza to zliczenie, ile razy każdą cechę wskazano jako najważniejszą (B) i najmniej ważną (W). Mühlbacher i in. (2016) opisują wynik B − W oraz pierwiastek z ilorazu B/W. Wynik standaryzowany (B − W) / (n × r) leży między −1 a 1 i nie zależy od liczby respondentów. Wartość 1 oznacza cechę wybieraną jako najważniejsza za każdym razem, gdy ją pokazano.

Wyniki zliczeniowe MaxDiff dla 11 cech pracy (N = 300, r = 5)
CechaBWB − W(B − W) / (n × r)√(B/W)Wynik indywidualny M [95% CI]
Wynagrodzenie574119455.3032.201.52 [1.34, 1.70]
Atmosfera w zespole465130335.2231.891.12 [0.94, 1.29]
Stabilność zatrudnienia443127316.2111.871.05 [0.89, 1.22]
Dobry przełożony395193202.1351.430.67 [0.49, 0.86]
Sens pracy30521887.0581.180.29 [0.11, 0.47]
Rozwój zawodowy28024931.0211.060.10 [−0.08, 0.28]
Elastyczne godziny238296−58−.0390.90−0.19 [−0.37, −0.02]
Praca zdalna207355−148−.0990.76−0.49 [−0.68, −0.30]
Krótki dojazd173442−269−.1790.63−0.90 [−1.09, −0.71]
Benefity pozapłacowe123551−428−.2850.47−1.43 [−1.60, −1.25]
Prestiż firmy97620−523−.3490.40−1.74 [−1.91, −1.58]

Wynagrodzenie wygrywa wyraźnie, a atmosfera w zespole i stabilność zatrudnienia są praktycznie na równi. Prestiż firmy i benefity pozapłacowe są na końcu. Wynik indywidualny to dla każdej osoby liczba wskazań „najważniejsza” minus „najmniej ważna”, od −5 do 5. Średnie z przedziałami ufności pokazują, które różnice są oszacowane pewnie. Rozwój zawodowy (M = 0.10, 95% CI [−0.08, 0.28]) nie odróżnia się od zera, czyli od przeciętnej cechy z listy. Suma wyników indywidualnych każdej osoby wynosi 0. To właśnie ipsatywność: wyników tych nie wolno traktować jak 11 niezależnych zmiennych, np. w analizie czynnikowej (zob. ipsatyzacja).

Warunkowy model logitowy i udziały preferencji

Zliczenia opisują dane, model daje skalę z błędami standardowymi. Każdy zestaw zamieniamy na dwa zbiory wyboru. W zbiorze „najlepsza” cechy mają kodowanie +1, a w zbiorze „najgorsza” −1, bo wybór najgorszej to wybór najniższej użyteczności. Model logitowy szacuje użyteczność każdej cechy względem cechy odniesienia (tu: prestiż firmy = 0), porównując wybór z pozostałymi cechami w tym samym zbiorze. To ten sam model co w wielomianowej regresji logistycznej, tyle że zbiór możliwych odpowiedzi zmienia się z zestawu na zestaw. W R liczymy go funkcją survival::clogit z warstwami (strata) równymi zbiorom wyboru.

Uproszczenie. Traktujemy najgorszą cechę jako wybraną z całego zestawu pięciu, choć respondent wybierał ją z czterech pozostałych po wskazaniu najlepszej. Oba zbiory są też traktowane jak niezależne, choć pochodzą z jednego ekranu. W dokumentacji pakietu support.BWS ten wariant nazywa się modelem brzegowym (marginal), a wariant z czterema cechami – sekwencyjnym. Ponieważ każda osoba dokonuje 22 wyborów, błędy standardowe liczymy jako odporne na klastrowanie w osobach.

Współczynniki warunkowego modelu logitowego i udziały preferencji dla 11 cech pracy
CechabSE odpornySE modelowyUdział preferencji
Wynagrodzenie1.9710.0800.06519.1%
Atmosfera w zespole1.7270.0790.06415.0%
Stabilność zatrudnienia1.7030.0760.06514.6%
Dobry przełożony1.4570.0810.06411.4%
Sens pracy1.2400.0810.0659.2%
Rozwój zawodowy1.1160.0800.0648.1%
Elastyczne godziny0.9210.0780.0646.7%
Praca zdalna0.7420.0840.0635.6%
Krótki dojazd0.5030.0810.0634.4%
Benefity pozapłacowe0.1940.0720.0623.2%
Prestiż firmy0 (odniesienie)––2.7%

Odporne błędy standardowe są większe od modelowych (np. 0.080 wobec 0.065 dla wynagrodzenia), bo preferencje różnią się między osobami, a wybory tej samej osoby są powiązane. Udział preferencji to exp(b) podzielone przez sumę exp(b) wszystkich cech. Oznacza przewidywaną szansę, że cecha zostanie wybrana jako najważniejsza, gdyby pokazać wszystkie 11 naraz. Udziały sumują się do 100% i są łatwiejsze w odbiorze niż logity. Wynagrodzenie (19.1%) jest około 7.2 razy częściej wybierane niż prestiż firmy (2.7%).

Po lewej standaryzowany wynik B minus W z 95% przedziałami ufności, od .30 dla wynagrodzenia do −.35 dla prestiżu firmy; po prawej udziały preferencji z logitu warunkowego, od 19.1% dla wynagrodzenia do 2.7% dla prestiżu firmy, w tej samej kolejności
Rysunek 2. Wyniki zliczeniowe i model dają ten sam porządek. Lewy panel: (B − W) / (n × r) z 95% CI ze średnich wyników indywidualnych. Prawy panel: udziały preferencji z warunkowego modelu logitowego. Obliczenia: R (dane symulowane).

Przy planie zbalansowanym zliczenia i model są prawie zamienne. Korelacja wyniku standaryzowanego ze współczynnikami wynosi r > .999, a ze średnimi użytecznościami z symulacji r = .998. Model przydaje się, gdy plan nie jest zbalansowany, gdy chcesz testować różnice (np. testem ilorazu wiarygodności) albo dodać zmienne opisujące respondentów. Sprawdziliśmy też wrażliwość na uproszczenie. Model sekwencyjny dał współczynniki mniejsze średnio o około jedną dziesiątą (średni stosunek 0.904; 1.811 zamiast 1.971 dla wynagrodzenia), ale o tej samej kolejności (r > .999). Udział najważniejszej cechy zmienił się z 19.1% na 18.4%. Skala logitów zależy więc od wariantu modelu i należy go podać w raporcie.

Cheung i in. (2016) zauważają, że większość badań nie uwzględniała różnic w preferencjach między osobami. Jeśli spodziewasz się segmentów, kolejnym krokiem jest model klas latentnych na wyborach albo na wynikach indywidualnych (zob. analiza klas latentnych krok po kroku).

MaxDiff a skala Likerta na tych samych osobach

W symulacji te same 300 osób oceniło też 11 cech na skali 1–5. Oceny zależały od tych samych preferencji i od indywidualnego stylu korzystania ze skali. Średnie ułożyły się w tej samej kolejności co wyniki MaxDiff (ρ Spearmana z prawdziwymi użytecznościami: 1.000 dla Likerta i .991 dla B − W). Na poziomie grupy Likert nie przegrał. Różnice widać dopiero niżej:

  • Ściśnięta skala. Średnie od 2.66 do 4.38, a wynagrodzenie oceniło na „5” 56.7% osób. Średnie czterech pierwszych cech mieszczą się w przedziale 0.32 punktu (zob. efekt sufitu).
  • Remisy u osób. Mediana liczby cech z najwyższą oceną u jednej osoby to 3, a remis na pierwszym miejscu miało 81.3% osób. W indywidualnych wynikach MaxDiff remis na szczycie miało 37.3%.
  • Styl odpowiedzi. Średnia ocen osoby korelowała ze stylem skali na poziomie r = .93. Różnice między osobami odpowiadały za 35.9% wariancji wszystkich ocen. Tę część wariancji tworzą m.in. tendencja do zgadzania się i style skrajnych odpowiedzi. W MaxDiff tej części nie ma, bo wybór najlepszy–najgorszy nie zależy od tego, jak hojnie ktoś używa skali.

Wniosek: MaxDiff wybierz, gdy chcesz uporządkować elementy i odróżnić je od siebie, także u pojedynczych osób. Skalę Likerta zostaw, gdy potrzebujesz bezwzględnego poziomu ważności albo wyniku, który dodasz do innych pozycji kwestionariusza (zob. skala Likerta: średnia czy mediana).

Jak opisać badanie MaxDiff

W metodzie podaj listę elementów i sposób jej powstania, parametry planu (v, k, r, b, λ, liczba wersji), randomizację kolejności, dokładne brzmienie pytania („najważniejsza” / „najmniej ważna”) i liczbę osób wykluczonych z analizy. W wynikach pokaż wyniki zliczeniowe i model, wariant modelu (brzegowy czy sekwencyjny), rodzaj błędów standardowych i udziały preferencji.

Ważność 11 cech pracy zbadano metodą MaxDiff (best–worst scaling, przypadek obiektów). Każda z 300 osób odpowiedziała na 11 zestawów po 5 cech zbudowanych według zbalansowanego niekompletnego układu blokowego (każda cecha 5 razy, każda para cech 2 razy); kolejność zestawów i cech losowano. W każdym zestawie respondent wskazywał cechę najważniejszą i najmniej ważną. Wyniki zliczeniowe policzono jako (B − W) / (n × r), a preferencje oszacowano warunkowym modelem logitowym (model brzegowy, cecha odniesienia: prestiż firmy) z błędami standardowymi odpornymi na skupienie w osobach. Najważniejsze było wynagrodzenie ((B − W) / (n × r) = .303; udział preferencji 19.1%), następnie atmosfera w zespole (.223; 15.0%) i stabilność zatrudnienia (.211; 14.6%). Najmniej ważny był prestiż firmy (−.349; 2.7%). Model sekwencyjny dał tę samą kolejność cech.

Jeśli planujesz badanie preferencji do artykułu lub projektu i chcesz sprawdzić plan zestawów albo analizę wyborów, zajrzyj do oferty analiz statystycznych dla badaczy. Szerszy kontekst metod ankietowych i eksperymentalnych znajdziesz w przewodniku po ankietach i eksperymentach, a zastosowania w naukach o rynku – w tekście o statystyce w pracy z marketingu.

Przykład reprodukowalny

Przykład w R

Cztery przepisy uruchamiane po kolei w jednej sesji. W przepisach 1–3 nie używamy pakietów do MaxDiff: plan i zliczenia liczymy w bazowym R, a warunkowy model logitowy w pakiecie survival. Czwarty przepis powtarza tę analizę w pakiecie support.BWS (Aizaki i Fogarty, 2023) i daje te same zliczenia B, W i B − W oraz te same udziały preferencji co przepisy 1–2.

1. Plan BIBD, symulacja wyborów i wyniki zliczeniowe

Dane wejściowe: symulowane wybory 300 osób w 11 zestawach (set.seed(3250)); kod zapisuje plik maxdiff-dane-wybory.csv.

Co odczytać: pierwsze zestawy planu, liczbę pokazań każdej cechy (5) i wspólnych wystąpień par (2), tabelę parametrów BIBD, B, W, B − W, wynik standaryzowany, √(B/W) oraz średnie wyniki indywidualne z 95% CI.

R
# Dane symulowane: co pracownicy uważają za najważniejsze w pracy? 11 cech, MaxDiff (best–worst scaling, przypadek obiektów).
# Plan: zbalansowany niekompletny układ blokowy (BIBD) z v = 11, b = 11 zestawów po k = 5 cech.
set.seed(3250)
cechy <- c("Wynagrodzenie", "Stabilność zatrudnienia", "Atmosfera w zespole", "Dobry przełożony",
           "Sens pracy", "Rozwój zawodowy", "Elastyczne godziny", "Praca zdalna",
           "Krótki dojazd", "Benefity pozapłacowe", "Prestiż firmy")
v <- length(cechy)

# Układ cykliczny: zestaw j zawiera cechy {1, 3, 4, 5, 9} + j (mod 11); + 1 zamienia numery 0–10 na 1–11
baza <- c(1, 3, 4, 5, 9)
plan <- t(sapply(0:(v - 1), function(j) sort((baza + j) %% v) + 1))
dimnames(plan) <- list(paste0("Z", 1:v), paste0("poz", 1:5))
plan[1:3, ]
c(zestawy = nrow(plan), cech_w_zestawie = ncol(plan))
table(plan)                                  # r: ile razy pokazano każdą cechę
inc <- sapply(1:v, function(j) as.integer(1:v %in% plan[j, ]))   # macierz incydencji: cechy × zestawy
pary <- inc %*% t(inc)                       # współwystępowanie cech w zestawach
range(pary[upper.tri(pary)])                 # lambda: ile razy pojawia się każda para

# Warunki BIBD: b = v × r / k zestawów, lambda = r × (k − 1) / (v − 1) – obie liczby muszą być całkowite
parametry <- data.frame(v = c(7, 9, 11, 13, 16), k = c(3, 3, 5, 4, 4), r = c(3, 4, 5, 4, 5))
parametry$b <- with(parametry, v * r / k); parametry$lambda <- with(parametry, r * (k - 1) / (v - 1))
parametry

# Symulacja odpowiedzi: 300 osób, użyteczności indywidualne = średnie + zmienność między osobami
n <- 300
u_sr <- c(1.2, 0.9, 0.8, 0.6, 0.5, 0.3, 0.2, 0.0, -0.3, -0.6, -0.9)
U <- matrix(rnorm(n * v, rep(u_sr, each = n), 0.6), n, v)
odp <- do.call(rbind, lapply(1:n, function(i) {
  do.call(rbind, lapply(sample(v), function(z) {     # kolejność zestawów losowa dla każdej osoby
    pokaz <- sample(plan[z, ])                         # kolejność cech w zestawie też losowa
    naj <- pokaz[sample.int(5, 1, prob = exp(U[i, pokaz]))]
    reszta <- setdiff(pokaz, naj)
    gor <- reszta[sample.int(4, 1, prob = exp(-U[i, reszta]))]
    data.frame(osoba = i, zestaw = z, pokazane = paste(pokaz, collapse = " "), najlepsza = naj, najgorsza = gor, row.names = NULL)
  }))
}))
nrow(odp); head(odp, 3)

# Wyniki zliczeniowe: B, W, B − W, wynik standaryzowany (B − W) / (n × r) i pierwiastek z B/W
r <- 5
B <- tabulate(odp$najlepsza, v); W <- tabulate(odp$najgorsza, v)
zlicz <- data.frame(cecha = cechy, B = B, W = W, BW = B - W, BW_std = (B - W) / (n * r), sqrtBW = sqrt(B / W))
zlicz <- zlicz[order(-zlicz$BW), ]
print(transform(zlicz, BW_std = round(BW_std, 3), sqrtBW = round(sqrtBW, 2)), row.names = FALSE)

# Wyniki indywidualne: (liczba wskazań „najważniejsza” − „najmniej ważna”) dla każdej osoby, zakres od −5 do 5
ind <- matrix(0, n, v, dimnames = list(NULL, cechy))
for (k in seq_len(nrow(odp))) {
  ind[odp$osoba[k], odp$najlepsza[k]] <- ind[odp$osoba[k], odp$najlepsza[k]] + 1
  ind[odp$osoba[k], odp$najgorsza[k]] <- ind[odp$osoba[k], odp$najgorsza[k]] - 1
}
range(rowSums(ind))                           # suma wyników każdej osoby = 0 (dane ipsatywne)
ci <- t(apply(ind, 2, function(x) { tt <- t.test(x); c(M = mean(x), SD = sd(x), dolny = tt$conf.int[1], gorny = tt$conf.int[2]) }))
round(ci[order(-ci[, "M"]), ], 2)

# Plik do pobrania: jeden wiersz = jeden zestaw u jednej osoby, cechy podane nazwami
csv <- data.frame(osoba = odp$osoba, zestaw = odp$zestaw,
                  pokazane = sapply(strsplit(odp$pokazane, " "), function(x) paste(cechy[as.integer(x)], collapse = "; ")),
                  najwazniejsza = cechy[odp$najlepsza], najmniej_wazna = cechy[odp$najgorsza])
write.csv(csv, "../maxdiff-dane-wybory.csv", row.names = FALSE, fileEncoding = "UTF-8")
Wynik w R
   poz1 poz2 poz3 poz4 poz5
Z1    2    4    5    6   10
Z2    3    5    6    7   11
Z3    1    4    6    7    8
        zestawy cech_w_zestawie 
             11               5 
plan
 1  2  3  4  5  6  7  8  9 10 11 
 5  5  5  5  5  5  5  5  5  5  5 
[1] 2 2
   v k r  b lambda
1  7 3 3  7      1
2  9 3 4 12      1
3 11 5 5 11      2
4 13 4 4 13      1
5 16 4 5 20      1
[1] 3300
  osoba zestaw   pokazane najlepsza najgorsza
1     1      3  6 7 8 1 4         7         8
2     1      5 9 10 3 8 6         6         3
3     1     10 2 8 11 3 4         4        11
                   cecha   B   W   BW BW_std sqrtBW
           Wynagrodzenie 574 119  455  0.303   2.20
     Atmosfera w zespole 465 130  335  0.223   1.89
 Stabilność zatrudnienia 443 127  316  0.211   1.87
        Dobry przełożony 395 193  202  0.135   1.43
              Sens pracy 305 218   87  0.058   1.18
         Rozwój zawodowy 280 249   31  0.021   1.06
      Elastyczne godziny 238 296  -58 -0.039   0.90
            Praca zdalna 207 355 -148 -0.099   0.76
           Krótki dojazd 173 442 -269 -0.179   0.63
    Benefity pozapłacowe 123 551 -428 -0.285   0.47
           Prestiż firmy  97 620 -523 -0.349   0.40
[1] 0 0
                            M   SD dolny gorny
Wynagrodzenie            1.52 1.58  1.34  1.70
Atmosfera w zespole      1.12 1.51  0.94  1.29
Stabilność zatrudnienia  1.05 1.46  0.89  1.22
Dobry przełożony         0.67 1.61  0.49  0.86
Sens pracy               0.29 1.57  0.11  0.47
Rozwój zawodowy          0.10 1.57 -0.08  0.28
Elastyczne godziny      -0.19 1.54 -0.37 -0.02
Praca zdalna            -0.49 1.66 -0.68 -0.30
Krótki dojazd           -0.90 1.67 -1.09 -0.71
Benefity pozapłacowe    -1.43 1.53 -1.60 -1.25
Prestiż firmy           -1.74 1.46 -1.91 -1.58

2. Warunkowy model logitowy i udziały preferencji

Dane wejściowe: obiekty z przepisu 1.

Co odczytać: współczynniki modelu brzegowego z odpornymi i modelowymi SE, udziały preferencji, korelację z wynikami zliczeniowymi i z prawdziwymi użytecznościami oraz porównanie z modelem sekwencyjnym.

R
# Warunkowy model logitowy (survival::clogit) na danych z przepisu 1 (obiekty cechy, plan, odp, zlicz, U, n, v).
suppressPackageStartupMessages(library(survival))

# Format wyboru: każdy zestaw daje dwa zbiory wyboru po 5 wierszy.
# Zbiór „najlepsza”: zmienne cech = 1. Zbiór „najgorsza”: zmienne cech = −1 (wybór najgorszej to wybór najmniejszej użyteczności).
# Uproszczenie: najgorszą traktujemy jako wybraną z całego zestawu (5 cech), a nie z 4 pozostałych po wskazaniu najlepszej.
dlugie <- function(odp, sekwencyjnie = FALSE) {
  do.call(rbind, lapply(seq_len(nrow(odp)), function(k) {
    pokaz <- as.integer(strsplit(odp$pokazane[k], " ")[[1]])
    gorsze <- if (sekwencyjnie) setdiff(pokaz, odp$najlepsza[k]) else pokaz
    rbind(data.frame(osoba = odp$osoba[k], zbior = paste(k, "B"), cecha = pokaz, znak = 1,
                     wybor = as.integer(pokaz == odp$najlepsza[k])),
          data.frame(osoba = odp$osoba[k], zbior = paste(k, "W"), cecha = gorsze, znak = -1,
                     wybor = as.integer(gorsze == odp$najgorsza[k])))
  }))
}
X <- function(d) {                              # kodowanie efektów cech; odniesienie: „Prestiż firmy” = 0
  m <- sapply(1:(v - 1), function(j) d$znak * (d$cecha == j))
  colnames(m) <- paste0("c", 1:(v - 1)); m
}
d_marg <- dlugie(odp)
dim(d_marg); sum(d_marg$wybor)                  # 2 zbiory × 3300 zestawów, po jednym wyborze w zbiorze
# Jeden wybór w zbiorze, więc method = "efron" daje tę samą wiarygodność co "exact" i pozwala policzyć SE odporne na skupienie w osobach
m1 <- clogit(d_marg$wybor ~ X(d_marg) + strata(d_marg$zbior), cluster = d_marg$osoba, method = "efron")
wsp <- data.frame(cecha = cechy, b = c(coef(m1), 0), se_odporny = c(sqrt(diag(vcov(m1))), NA))
wsp$se_modelowy <- c(sqrt(diag(m1$naive.var)), NA)

# Udziały preferencji: exp(b) / suma exp(b) × 100 = szansa wyboru cechy jako najważniejszej spośród wszystkich 11
wsp$udzial <- 100 * exp(wsp$b) / sum(exp(wsp$b))
wsp <- wsp[order(-wsp$b), ]
print(transform(wsp, b = round(b, 3), se_odporny = round(se_odporny, 3), se_modelowy = round(se_modelowy, 3),
                udzial = round(udzial, 1)), row.names = FALSE)
round(sum(wsp$udzial), 1)
round(max(wsp$udzial) / min(wsp$udzial), 1)          # ile razy częściej wybierana jest cecha pierwsza niż ostatnia

# Zgodność z wynikami zliczeniowymi i z prawdziwymi (symulowanymi) średnimi użytecznościami
b_wg_cech <- wsp$b[match(cechy, wsp$cecha)]
bw_wg_cech <- zlicz$BW_std[match(cechy, zlicz$cecha)]
round(c(r_BW_logit = cor(bw_wg_cech, b_wg_cech), r_logit_prawda = cor(b_wg_cech, colMeans(U) - colMeans(U)[v])), 4)

# Wrażliwość na uproszczenie: model sekwencyjny (najgorsza wybierana z 4 pozostałych cech)
d_sekw <- dlugie(odp, sekwencyjnie = TRUE)
m2 <- clogit(d_sekw$wybor ~ X(d_sekw) + strata(d_sekw$zbior), cluster = d_sekw$osoba, method = "efron")
porown <- data.frame(cecha = cechy[-v], uproszczony = coef(m1), sekwencyjny = coef(m2), row.names = NULL)
print(transform(porown, uproszczony = round(uproszczony, 3), sekwencyjny = round(sekwencyjny, 3)), row.names = FALSE)
round(cor(porown$uproszczony, porown$sekwencyjny), 4)
round(mean(porown$sekwencyjny / porown$uproszczony), 3)   # średni stosunek współczynników
udzial_sekw <- 100 * exp(c(coef(m2), 0)) / sum(exp(c(coef(m2), 0)))
round(c(uproszczony = max(wsp$udzial), sekwencyjny = max(udzial_sekw)), 1)   # udział najważniejszej cechy w obu modelach
Wynik w R
[1] 33000     5
[1] 6600
                   cecha     b se_odporny se_modelowy udzial
           Wynagrodzenie 1.971      0.080       0.065   19.1
     Atmosfera w zespole 1.727      0.079       0.064   15.0
 Stabilność zatrudnienia 1.703      0.076       0.065   14.6
        Dobry przełożony 1.457      0.081       0.064   11.4
              Sens pracy 1.240      0.081       0.065    9.2
         Rozwój zawodowy 1.116      0.080       0.064    8.1
      Elastyczne godziny 0.921      0.078       0.064    6.7
            Praca zdalna 0.742      0.084       0.063    5.6
           Krótki dojazd 0.503      0.081       0.063    4.4
    Benefity pozapłacowe 0.194      0.072       0.062    3.2
           Prestiż firmy 0.000         NA          NA    2.7
[1] 100
[1] 7.2
    r_BW_logit r_logit_prawda 
        0.9999         0.9983 
                   cecha uproszczony sekwencyjny
           Wynagrodzenie       1.971       1.811
 Stabilność zatrudnienia       1.703       1.558
     Atmosfera w zespole       1.727       1.578
        Dobry przełożony       1.457       1.322
              Sens pracy       1.240       1.122
         Rozwój zawodowy       1.116       1.010
      Elastyczne godziny       0.921       0.835
            Praca zdalna       0.742       0.661
           Krótki dojazd       0.503       0.454
    Benefity pozapłacowe       0.194       0.170
[1] 0.9999
[1] 0.904
uproszczony sekwencyjny 
       19.1        18.4 

3. Porównanie ze skalą Likerta

Dane wejściowe: te same osoby i użyteczności z przepisu 1, oceny 1–5 symulowane z set.seed(3251).

Co odczytać: średnie i odsetki ocen „5”, rozpiętość czterech pierwszych średnich, remisy na pierwszym miejscu w ocenach i w wynikach MaxDiff, udział wariancji między osobami oraz ρ Spearmana z prawdziwymi użytecznościami.

R
# Dla porównania: te same 300 osób ocenia te same 11 cech na skali Likerta 1–5 („zupełnie nieważne” – „bardzo ważne”).
# Oceny zależą od tych samych użyteczności U oraz od indywidualnego stylu korzystania ze skali (przesunięcie s).
set.seed(3251)
s <- rnorm(n, 0, 0.8)
lat <- 1 + U + s + matrix(rnorm(n * v, 0, 0.7), n, v)
lik <- matrix(findInterval(lat, c(-1, 0, 1, 2)) + 1, n, v, dimnames = list(NULL, cechy))
opis <- data.frame(cecha = cechy, M = colMeans(lik), SD = apply(lik, 2, sd), proc_5 = 100 * colMeans(lik == 5))
print(transform(opis[order(-opis$M), ], M = round(M, 2), SD = round(SD, 2), proc_5 = round(proc_5, 1)), row.names = FALSE)
round(diff(range(sort(opis$M, decreasing = TRUE)[1:4])), 2)   # rozpiętość średnich czterech pierwszych cech

# Ile cech dostaje u jednej osoby najwyższą ocenę i ile osób ma remis na pierwszym miejscu
n_max <- apply(lik, 1, function(x) sum(x == max(x)))
round(c(mediana_cech_z_ocena_max = median(n_max), proc_osob_z_remisem = 100 * mean(n_max > 1)), 1)
# Jaka część wariancji ocen to różnice między osobami (średnia osoby), a jaka – między cechami
sr_osoby <- rowMeans(lik)
round(c(r_srednia_osoby_styl = cor(sr_osoby, s),
        proc_wariancji_osoby = 100 * var(rep(sr_osoby, v)) / var(as.vector(lik))), 3)
# To samo w indywidualnych wynikach MaxDiff (B − W osoby): ile osób ma remis na pierwszym miejscu
n_max_bw <- apply(ind, 1, function(x) sum(x == max(x)))
round(100 * mean(n_max_bw > 1), 1)
# Zgodność kolejności cech z prawdziwymi średnimi użytecznościami (rho Spearmana)
prawda <- colMeans(U)
round(c(Likert = cor(colMeans(lik), prawda, method = "spearman"),
        MaxDiff_BW = cor(zlicz$BW_std[match(cechy, zlicz$cecha)], prawda, method = "spearman")), 3)
Wynik w R
                   cecha    M   SD proc_5
           Wynagrodzenie 4.38 0.84   56.7
 Stabilność zatrudnienia 4.19 0.91   46.0
     Atmosfera w zespole 4.09 0.99   45.3
        Dobry przełożony 4.06 1.00   43.0
              Sens pracy 3.84 1.03   32.7
         Rozwój zawodowy 3.76 1.05   29.0
      Elastyczne godziny 3.57 1.06   22.3
            Praca zdalna 3.43 1.14   21.3
           Krótki dojazd 3.23 1.17   16.3
    Benefity pozapłacowe 2.98 1.16   11.0
           Prestiż firmy 2.66 1.20    8.7
[1] 0.32
mediana_cech_z_ocena_max      proc_osob_z_remisem 
                     3.0                     81.3 
r_srednia_osoby_styl proc_wariancji_osoby 
               0.926               35.855 
[1] 37.3
    Likert MaxDiff_BW 
     1.000      0.991 

4. Ta sama analiza w pakiecie support.BWS

Dane wejściowe: obiekty odp, plan, n i v z przepisu 1; pakiety support.BWS i survival.

Co odczytać: tabelę bws.count() z B, W, B − W i standaryzowanym B − W (identyczną z przepisem 1, np. wynagrodzenie 574, 119, 455, 0.303) oraz udziały preferencji z modelu brzegowego (identyczne z przepisem 2: od 19.1% dla wynagrodzenia do 2.7% dla prestiżu firmy).

R
# Ta sama analiza w pakiecie support.BWS na danych z przepisu 1 (obiekty odp, plan, n, v).
suppressPackageStartupMessages({library(support.BWS); library(survival)})
nazwy <- c("wynagrodzenie", "stabilnosc", "atmosfera", "przelozony", "sens", "rozwoj",
           "elastycznosc", "zdalna", "dojazd", "benefity", "prestiz")
# Dane szerokie: jeden wiersz na osobę – id, potem B1 W1 B2 W2 ... B11 W11 (numery cech, kolejność zestawów jak w planie)
odp_szer <- data.frame(id = 1:n)
for (z in 1:v) {
  dz <- odp[odp$zestaw == z, ]; dz <- dz[order(dz$osoba), ]
  odp_szer[[paste0("B", z)]] <- dz$najlepsza
  odp_szer[[paste0("W", z)]] <- dz$najgorsza
}
dane_bws <- bws.dataset(data = odp_szer, response.type = 2,   # 2 = odpowiedzi jako numery cech
                        choice.sets = plan, design.type = 2,    # 2 = plan BIBD
                        item.names = nazwy, id = "id", response = names(odp_szer)[-1],
                        model = "marginal")                     # albo "sequential" / "maxdiff"
zl <- bws.count(dane_bws, cl = 2)
summary(zl)                                                     # B, W, B − W i standaryzowane B − W
m <- clogit(RES ~ wynagrodzenie + stabilnosc + atmosfera + przelozony + sens + rozwoj +
              elastycznosc + zdalna + dojazd + benefity + strata(STR), data = dane_bws)
round(100 * bws.sp(m, base = "prestiz"), 1)                     # udziały preferencji (%)
Wynik w R
Number of respondents : 300 

                B   W   BW Rank  meanB  meanW  meanBW mean.stdBW sqrtBW
wynagrodzenie 574 119  455    1 1.9133 0.3967  1.5167    0.30333 2.1963
stabilnosc    443 127  316    3 1.4767 0.4233  1.0533    0.21067 1.8677
atmosfera     465 130  335    2 1.5500 0.4333  1.1167    0.22333 1.8913
przelozony    395 193  202    4 1.3167 0.6433  0.6733    0.13467 1.4306
sens          305 218   87    5 1.0167 0.7267  0.2900    0.05800 1.1828
rozwoj        280 249   31    6 0.9333 0.8300  0.1033    0.02067 1.0604
elastycznosc  238 296  -58    7 0.7933 0.9867 -0.1933   -0.03867 0.8967
zdalna        207 355 -148    8 0.6900 1.1833 -0.4933   -0.09867 0.7636
dojazd        173 442 -269    9 0.5767 1.4733 -0.8967   -0.17933 0.6256
benefity      123 551 -428   10 0.4100 1.8367 -1.4267   -0.28533 0.4725
prestiz        97 620 -523   11 0.3233 2.0667 -1.7433   -0.34867 0.3955
              std.sqrtBW
wynagrodzenie     1.0000
stabilnosc        0.8504
atmosfera         0.8611
przelozony        0.6514
sens              0.5386
rozwoj            0.4828
elastycznosc      0.4083
zdalna            0.3477
dojazd            0.2849
benefity          0.2151
prestiz           0.1801
wynagrodzenie    stabilnosc     atmosfera    przelozony          sens 
         19.1          14.6          15.0          11.4           9.2 
       rozwoj  elastycznosc        zdalna        dojazd      benefity 
          8.1           6.7           5.6           4.4           3.2 
      prestiz 
          2.7 

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia przepisów 1–3 w R 4.5.3 (funkcje sample(), tabulate(), t.test(), findInterval()) i pakietu survival (clogit()) oraz przepisu 4 w pakiecie support.BWS 0.4.6 (bws.dataset(), bws.count(), bws.sp()); rysunki przygotowano w pakietach ggplot2 i patchwork.

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. survival (wersja 3.8.6): Therneau, T. M. (2026). A package for survival analysis in R [R package]. https://CRAN.R-project.org/package=survival
  3. support.BWS (wersja 0.4.6): Aizaki, H., & Fogarty, J. (2023). R packages and tutorial for case 1 best–worst scaling. Journal of Choice Modelling, 46, 100394. https://doi.org/10.1016/j.jocm.2022.100394
  4. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  5. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork

Najczęstsze błędy

  • Plan niezbalansowany bez kontroli. Jeśli jedna cecha jest pokazywana częściej albo zawsze w towarzystwie słabych cech, surowe zliczenia są obciążone. Sprawdź częstości elementów i par przed uruchomieniem ankiety.
  • Stała kolejność zestawów i pozycji. Losuj kolejność zestawów i miejsce elementów na ekranie.
  • Za długie zestawy i lista elementów. Lepiej 11 dobrze opisanych elementów niż 30 podobnych do siebie.
  • Wyniki indywidualne jak zwykłe skale. Sumują się do zera, więc korelacje między nimi są sztucznie ujemne. Analiza czynnikowa takich wyników nie ma sensu.
  • Odczytywanie MaxDiff jako ważności bezwzględnej. Ostatnie miejsce nie znaczy „nieważne”, tylko „najmniej ważne z tej listy”.
  • Zwykłe błędy standardowe w modelu. Wybory tej samej osoby są zależne. Użyj błędów odpornych na klastrowanie albo modelu z heterogenicznością.
  • Brak opisu uproszczenia modelu. Napisz, czy zbiór „najgorsza” obejmował cały zestaw, czy tylko pozostałe elementy.

Najczęstsze pytania

Ile elementów i ile zestawów zaplanować w badaniu MaxDiff?

Liczba zestawów wynika z planu: przy v elementach, k elementach w zestawie i r pokazaniach każdego elementu potrzebujesz b = v × r / k zestawów. Dla 11 elementów po 5 w zestawie daje to 11 zestawów, w których każda para elementów występuje 2 razy. Zwykle stosuje się małe zestawy, np. po 4–5 elementów, bo większy zestaw utrudnia wybór.

Czy indywidualne wyniki MaxDiff można analizować jak wyniki skali Likerta?

Tylko ostrożnie. Wyniki B − W jednej osoby sumują się do zera, więc są ipsatywne: korelacje między elementami są sztucznie ujemne, a analiza czynnikowa takich wyników nie ma sensu. Do porównań grup lepiej użyć modelu wyboru albo porównywać pojedyncze elementy z poprawką na wielokrotne testy.

Czym różni się model brzegowy od sekwencyjnego w analizie MaxDiff?

W modelu brzegowym najgorszy element traktuje się jako wybrany z całego zestawu, a w sekwencyjnym – z elementów pozostałych po wskazaniu najlepszego. Kolejność elementów jest zwykle taka sama, ale skala współczynników i udziały preferencji trochę się różnią, dlatego wariant modelu trzeba podać w raporcie.

Jak interpretować udział preferencji w MaxDiff?

Udział preferencji to exp(b) danego elementu podzielone przez sumę exp(b) wszystkich elementów. Oznacza przewidywaną szansę, że element zostanie wybrany jako najważniejszy, gdyby pokazać całą listę naraz. Udziały sumują się do 100% i zależą od tego, jakie elementy znalazły się na liście.

Czy do analizy MaxDiff potrzebne jest specjalne oprogramowanie?

Nie. Wyniki zliczeniowe policzysz w arkuszu albo w bazowym R, a warunkowy model logitowy – funkcją clogit z pakietu survival na danych w formacie wyboru. Pakiety specjalistyczne, np. support.BWS, ułatwiają przygotowanie danych, ale nie są konieczne.

Powiązane hasła

Przeczytaj też

Planujesz badanie preferencji i nie wiesz, jak ułożyć zestawy?

Pomożemy dobrać listę elementów i plan zestawów, policzyć wyniki zliczeniowe i model wyboru oraz opisać je tak, żebyś mógł(a) samodzielnie obronić analizę przed recenzentem.

Oferta dla badaczyPorozmawiaj o projekcie

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Aizaki, H., & Fogarty, J. (2023). R packages and tutorial for case 1 best–worst scaling. Journal of Choice Modelling, 46, Article 100394. https://doi.org/10.1016/j.jocm.2022.100394 ● Otwarty dostęp
  2. Cheung, K. L., Wijnen, B. F. M., Hollin, I. L., Janssen, E. M., Bridges, J. F., Evers, S. M. A. A., & Hiligsmann, M. (2016). Using best–worst scaling to investigate preferences in health care. PharmacoEconomics, 34(12), 1195–1209. https://doi.org/10.1007/s40273-016-0429-5 ● Otwarty dostęp
  3. Finn, A., & Louviere, J. J. (1992). Determining the appropriate response to evidence of public concern: The case of food safety. Journal of Public Policy & Marketing, 11(2), 12–25. https://doi.org/10.1177/074391569201100202
  4. Flynn, T. N., Louviere, J. J., Peters, T. J., & Coast, J. (2007). Best–worst scaling: What it can do for health care research and how to do it. Journal of Health Economics, 26(1), 171–189. https://doi.org/10.1016/j.jhealeco.2006.04.002
  5. Lee, J. A., Soutar, G. N., & Louviere, J. (2007). Measuring values using best-worst scaling: The LOV example. Psychology & Marketing, 24(12), 1043–1058. https://doi.org/10.1002/mar.20197
  6. Louviere, J. J., Flynn, T. N., & Marley, A. A. J. (2015). Best-worst scaling: Theory, methods and applications. Cambridge University Press. https://doi.org/10.1017/cbo9781107337855
  7. Mühlbacher, A. C., Kaczynski, A., Zweifel, P., & Johnson, F. R. (2016). Experimental measurement of preferences in health and healthcare using best-worst scaling: An overview. Health Economics Review, 6(1), Article 2. https://doi.org/10.1186/s13561-015-0079-x ● Otwarty dostęp

Cytowania BibTeX

@article{aizaki2023r, author={Aizaki, Hideo and Fogarty, James}, title={{R packages and tutorial for case 1 best–worst scaling}}, journal={Journal of Choice Modelling}, year={2023}, volume={46}, eid={100394}, doi={10.1016/j.jocm.2022.100394}}
@article{cheung2016using, author={Cheung, Kei Long and Wijnen, Ben F. M. and Hollin, Ilene L. and Janssen, Ellen M. and Bridges, John F. and Evers, Silvia M. A. A. and Hiligsmann, Mickael}, title={{Using best–worst scaling to investigate preferences in health care}}, journal={PharmacoEconomics}, year={2016}, volume={34}, number={12}, pages={1195--1209}, doi={10.1007/s40273-016-0429-5}}
@article{finn1992determining, author={Finn, Adam and Louviere, Jordan J.}, title={{Determining the appropriate response to evidence of public concern: The case of food safety}}, journal={Journal of Public Policy \& Marketing}, year={1992}, volume={11}, number={2}, pages={12--25}, doi={10.1177/074391569201100202}}
@article{flynn2007best, author={Flynn, Terry N. and Louviere, Jordan J. and Peters, Tim J. and Coast, Joanna}, title={{Best–worst scaling: What it can do for health care research and how to do it}}, journal={Journal of Health Economics}, year={2007}, volume={26}, number={1}, pages={171--189}, doi={10.1016/j.jhealeco.2006.04.002}}
@article{lee2007measuring, author={Lee, Julie Anne and Soutar, Geoffrey N. and Louviere, Jordan}, title={{Measuring values using best-worst scaling: The LOV example}}, journal={Psychology \& Marketing}, year={2007}, volume={24}, number={12}, pages={1043--1058}, doi={10.1002/mar.20197}}
@book{louviere2015best, author={Louviere, Jordan J. and Flynn, Terry N. and Marley, A. A. J.}, title={{Best-worst scaling: Theory, methods and applications}}, year={2015}, publisher={Cambridge University Press}, doi={10.1017/cbo9781107337855}}
@article{muhlbacher2016experimental, author={Mühlbacher, Axel C. and Kaczynski, Anika and Zweifel, Peter and Johnson, F. Reed}, title={{Experimental measurement of preferences in health and healthcare using best-worst scaling: An overview}}, journal={Health Economics Review}, year={2016}, volume={6}, number={1}, eid={2}, doi={10.1186/s13561-015-0079-x}}
R