Statystyka · Marketing

Wybór nazwy lub logo – porównania parami i model Bradleya–Terry’ego

Fikcyjna marka kosmetyków do pielęgnacji brody wybiera nazwę spośród 10 propozycji. Krok po kroku: zrównoważony plan 15 par na osobę, model Bradleya–Terry’ego liczony przez glm(), ranking z niepewnością z bootstrapu respondentów, różnice między grupami wieku, przechodniość i efekt strony ekranu – pięć rysunków z kodem R, podpisy APA i zdania do pracy.

Strona główna / Blog / Wybór nazwy – porównania parami
W skrócie: Porównania parami pokazują respondentowi dwie nazwy naraz, a model Bradleya–Terry’ego (zwykła regresja logistyczna z kontrastami +1/−1) zamienia tysiące takich wyborów na siłę każdej nazwy. W przykładzie 600 osób i 9000 porównań dwie najlepsze nazwy zremisowały: prawdopodobieństwo wyboru Dębroka zamiast Kniejana wyniosło .503 [.473, .532], a w bootstrapie Dębrok był pierwszy w 54.6% prób. Podawaj ranking z niepewnością, nie samą kolejność, i sprawdź, czy grupy klientów nie wybierają inaczej – w grupie 45+ wygrywał trzeci w całej próbie Borodar. Zwykły odsetek wygranych myli się, gdy nazwy grały z różnymi rywalami.

Przykład: dziesięć nazw dla kosmetyków do brody

Fikcyjna firma wprowadza linię kosmetyków do pielęgnacji brody: olejek, balsam i szampon. Agencja zaproponowała 10 nazw: Dębrok, Kniejan, Borodar, Jodłar, Torfin, Mchowiec, Grzywal, Sęklin, Brzozal i Wąsoń. Ocena każdej nazwy na skali 1–5 daje zwykle same „czwórki”, więc dział marketingu wybrał porównania parami: respondent widzi dwie nazwy i wskazuje tę, która bardziej pasuje do marki. W ten sposób badano też wpływ brzmienia fikcyjnych nazw na ich wybór (Lowrey i Shrum, 2007). Pytanie biznesowe: którą nazwę zarejestrować i czy jest wyraźny zwycięzca?

Badanie miało dwa etapy. W etapie 1 450 osób oceniło po 15 par w jednej z trzech wersji ankiety. W etapie 2 (dogrywka) 150 innych osób porównało wszystkie 15 par sześciu nazw z najwyższym odsetkiem wygranych w etapie 1. Razem 600 osób i 9000 porównań, od 150 do 300 na parę.

Dane są fikcyjne i znamy prawdę. Ręcznie ustaliliśmy siły nazw, różnice gustu grup wieku (młodsi lubią Wąsonia, starsi Borodara), przewagę nazwy po lewej stronie ekranu i indywidualne różnice gustu; wartości podajemy przy kodzie. Parametrów danych ani ziarna 737 nie zmienialiśmy po pierwszym uruchomieniu. Dane pobierzesz jako wybor-nazwy-porownania-parami.csv.

Rysunek 1: projekt badania – ile par i których

Grafika w dwóch panelach. A: karta jednego pytania ankiety – napis Para 7 z 15, pytanie Która nazwa bardziej pasuje do kosmetyków do pielęgnacji brody, dwa prostokąty z nazwami Kniejan (strona lewa) i Torfin (strona prawa), pod spodem informacja, że kolejność par i strona nazwy są losowane. B: dziesięć nazw rozmieszczonych na okręgu i połączonych 15 niebieskimi liniami – to pary wersji A ankiety; z każdej nazwy wychodzą dokładnie 3 linie. Podpis: wersja A to 15 z 45 par, wersje A, B i C razem pokazują każdą parę 150 razy
Rysunek 1. Karta jednej pary nazw (A) i plan wersji A ankiety jako sieć porównań (B). Grafika: R, pakiety ggplot2 i patchwork.

Z 10 nazw da się ułożyć 45 par. Wszystkich nie pokażemy jednej osobie, więc plan musi odpowiedzieć na trzy pytania.

  • Ile par na osobę? Tu 15, czyli kilka minut ankiety (więcej – rysunek 5).
  • Które pary? Pary podzieliliśmy „karuzelą”, czyli metodą planowania turnieju każdy z każdym. Powstaje 9 rund po 5 rozłącznych par, a wersja A to rundy 1–3, B to 4–6, a C to 7–9. W każdej wersji każda nazwa występuje dokładnie 3 razy.
  • Jaka kolejność? Kolejność par i stronę każdej nazwy losujemy dla każdej osoby. To proste kontrbalansowanie: przewaga pierwszej pozycji, znana z efektu kolejności odpowiedzi, rozkłada się po równo na wszystkie nazwy.

Jak może zmylić. Sieć musi być spójna: gdyby część nazw grała tylko między sobą, nie dałoby się porównać ich z resztą. Losowa strona nie usuwa przewagi lewej strony, tylko wyrównuje ją między nazwami.

Podpis do pracy:

Rysunek 1. Przykładowe pytanie z porównaniem pary nazw (A) i zestaw 15 par w wersji A ankiety (B). Uwaga. Dziesięć nazw, 45 możliwych par podzielonych na trzy wersje po 15 par; w każdej wersji każda nazwa występuje trzy razy. Kolejność par i strona ekranu były losowane dla każdego respondenta.

Zdanie do Metody: „Każdy respondent porównał 15 z 45 par nazw w jednej z trzech zrównoważonych wersji ankiety; kolejność par i strona prezentacji nazw były losowe”.

Rysunek 2: model Bradleya–Terry’ego przez glm()

Model Bradleya–Terry’ego (Bradley i Terry, 1952) przypisuje każdej nazwie siłę λ. Szansa wyboru nazwy i zamiast j zależy tylko od różnicy sił:

logit P(wybrana lewa) = δ + λlewa − λprawa

δ to przewaga lewej strony ekranu. To zwykła regresja logistyczna: wynik to „wybrano lewą”, a predyktor każdej nazwy ma +1, gdy była po lewej, −1, gdy po prawej, i 0, gdy jej nie było. Jedna nazwa jest punktem odniesienia, a potem siły przesuwamy do średniej 0. Model jest prosty i dobrze zbadany (Hunter, 2004). Pakiet BradleyTerry2 robi to samo i więcej (Turner i Firth, 2012); tu wystarcza glm() i metoda największej wiarygodności.

Dwa panele. A: siła dziesięciu nazw z 95% przedziałami ufności, od góry Dębrok 0.48 i Kniejan 0.46 z prawie nakładającymi się przedziałami, Borodar 0.25, Jodłar 0.10, Torfin, Mchowiec i Grzywal blisko zera, Sęklin −0.23, Wąsoń −0.49 i Brzozal −0.51; pomarańczowe krzyżyki wartości prawdziwych leżą blisko punktów. B: odsetek wygranych we wszystkich danych na osi pionowej a siła z modelu na osi poziomej; trójkąty finalistów dogrywki leżą niżej niż kółka nazw bez dogrywki – Grzywal (kółko, 48.6%) jest wyżej niż Torfin i Mchowiec (trójkąty, około 47.5%), choć ma mniejszą siłę
Rysunek 2. Siła nazw w modelu Bradleya–Terry’ego (A) i zwykły odsetek wygranych a siła (B). Obliczenia: R, funkcja glm(), pakiety ggplot2, ggrepel i patchwork (dane fikcyjne, set.seed(737)).

Co widać. Nazwy wyraźnie się różnią (test ilorazu wiarygodności: χ²(9) = 427.22, p < .001). Dębrok ma siłę 0.48, 95% CI [0.40, 0.56], a Kniejan 0.46 [0.38, 0.55]. W bezpośrednim starciu Dębrok wygrywa z prawdopodobieństwem .503, 95% CI [.473, .532], czyli praktycznie remis. Z Borodarem wygrywa w .556 przypadków [.528, .585], a z Wąsoniem w .723 [.695, .750]. Przedziały dla prawdopodobieństw policzyliśmy metodą delta na skali logitu. Nazwa po lewej ma przewagę 0.134 [0.092, 0.177]: przy dwóch równie dobrych nazwach lewą wybiera 53.4% osób.

Odsetek wygranych a model. W zrównoważonym etapie 1 zwykły odsetek wygranych dał tę samą kolejność co model. W dogrywce finaliści grali tylko z silnymi rywalami, więc ich odsetek spadł. Grzywal nie wszedł do dogrywki i z odsetkiem 48.6% wyprzedził Torfina (47.7%) i Mchowca (47.5%), choć ma mniejszą siłę (−0.05 wobec −0.00 i −0.01). Model uwzględnia, z kim nazwa grała.

Jak może zmylić. Siła jest względna: mówi, która nazwa wygrywa z innymi z tej listy, a nie czy którakolwiek jest dobra (zob. hasło ranking a ocena pozycji). Krzyżyki prawdy leżą nieco dalej od zera niż oszacowania, bo model bez różnic gustu między osobami lekko „spłaszcza” siły (w symulacji najwyżej o 0.04).

Podpis do pracy:

Rysunek 2. Siła dziesięciu propozycji nazw w modelu Bradleya–Terry’ego (A) oraz odsetek wygranych porównań a siła z modelu (B). Uwaga. N = 600 respondentów, 9000 porównań parami. Siły wyśrodkowane (średnia = 0) na skali logitu; kreski – 95% przedziały ufności Walda; krzyżyki – wartości przyjęte w symulacji. Trójkąty – nazwy porównywane także w dogrywce finalistów. Dane fikcyjne.

Zdanie do Wyników: „Dwie najsilniejsze nazwy, Dębrok (λ = 0.48, 95% CI [0.40, 0.56]) i Kniejan (λ = 0.46 [0.38, 0.55]), nie różniły się istotnie (P(Dębrok > Kniejan) = .503 [.473, .532])”.

Przechodniość – krótko. Model zakłada, że preferencje da się ułożyć na jednej osi: jeśli A wygrywa z B, a B z C, to A wygrywa z C. Sprawdzamy to, porównując model z modelem nasyconym, który daje każdej z 45 par własne prawdopodobieństwo. Różnica dewiancji wyniosła χ²(36) = 34.62, p = .534, więc 10 sił wystarcza do opisu 45 par. Mała wartość p wskazywałaby na pary „w kółko” albo różne gusty grup.

Rysunek 3: ranking z niepewnością

Zarząd pyta „która jest pierwsza?”. Odpowiedź daje bootstrap. Losujemy ze zwracaniem całe osoby (osobno w każdym etapie), liczymy model od nowa i zapisujemy ranking. Losujemy osoby, a nie pojedyncze porównania, bo 15 wyborów jednej osoby jest ze sobą powiązanych. Bootstrap całych klastrów daje zgodne oszacowania wariancji także przy takich zależnościach (Field i Welsh, 2007). Modele dla takich zależnych porównań omawia Cattelan (2012).

Mapa ciepła: wiersze to dziesięć nazw, kolumny to miejsca w rankingu od 1 do 10, w kratkach odsetek prób bootstrapowych. Dębrok jest pierwszy w 55% prób i drugi w 45%, Kniejan odwrotnie. Borodar trzeci w 99%. Jodłar czwarty w 90%. Torfin i Mchowiec rozkładają się na miejsca 4–7, Grzywal głównie na miejscu 7 (62%). Sęklin ósmy w 98%. Wąsoń i Brzozal dzielą miejsca 9 i 10 w proporcji 64 do 36
Rysunek 3. Rozkład miejsc w rankingu nazw w 1000 próbach bootstrapowych losujących respondentów. Obliczenia: R, funkcja glm.fit(), pakiet ggplot2 (dane fikcyjne, set.seed(7371)).

Co widać. Dębrok był pierwszy w 54.6% prób, a Kniejan w 45.4% (błąd Monte Carlo ±1.6 p.p.). Obie nazwy były w pierwszej dwójce we wszystkich próbach, a Borodar był trzeci w 99.2%. Środek tabeli jest płynny: Torfin i Mchowiec zajmują miejsca od 4. do 7. Badanie wyłania dwie najlepsze nazwy, ale nie jedną.

Jak może zmylić. Bootstrap rang nie jest precyzyjny co do joty. Dobrze pokazuje zakres możliwych miejsc, ale długość przedziałów dla rang bywa tylko przybliżona (Hall i Miller, 2009). Traktuj 55 : 45 jako „remis”, a nie jako „55% szans, że Dębrok jest lepszy”.

Podpis do pracy:

Rysunek 3. Odsetek prób bootstrapowych, w których dana nazwa zajęła dane miejsce w rankingu siły. Uwaga. 1000 prób losujących respondentów ze zwracaniem osobno w każdym etapie badania; w każdej próbie dopasowano model Bradleya–Terry’ego z efektem strony ekranu. Dane fikcyjne.

Zdanie do Wyników: „W 1000 próbach bootstrapowych Dębrok zajmował pierwsze miejsce w 54.6%, a Kniejan w 45.4% prób; obie nazwy znalazły się w pierwszej dwójce we wszystkich próbach”.

Rysunek 4: czy młodsi i starsi wybierają tak samo?

Jedna lista sił zakłada, że wszyscy mają podobny gust. Sprawdzamy to modelem z interakcją siła × grupa wieku: każda grupa ma własne siły, a przewaga lewej strony jest wspólna.

Wykres punktowy z przedziałami: dla każdej z dziesięciu nazw trzy punkty – pomarańczowy kwadrat 18–29 lat, ciemne kółko 30–44 lata, niebieski trójkąt 45+. Dębrok i Kniejan wysoko we wszystkich grupach. Borodar: około 0 u najmłodszych, 0.23 w środkowej grupie i 0.74 u najstarszych – najsilniejsza nazwa w grupie 45+. Wąsoń: −0.12 u najmłodszych, −0.57 w środkowej i −0.94 u najstarszych. Grzywal w grupie 30–44 wyżej niż w pozostałych
Rysunek 4. Siła nazw w trzech grupach wieku z 95% przedziałami ufności. Obliczenia: R, funkcja glm(), pakiet ggplot2 (dane fikcyjne, set.seed(737)).

Co widać. Gusty się różnią (χ²(18) = 101.02, p < .001; AIC 11965.7 wobec 12030.7 dla modelu wspólnego). W grupie 45+ (139 osób) najsilniejszy jest Borodar: 0.74 [0.56, 0.91], przed Kniejanem 0.56 [0.39, 0.73] i Dębrokiem 0.48 [0.31, 0.65]. U osób 18–29 lat (212) Borodar ma −0.02 [−0.15, 0.11], a Wąsoń −0.12 [−0.29, 0.04]. Wąsoń, ostatni w całej próbie, u najmłodszych jest przeciętny, a u najstarszych ma −0.94 [−1.17, −0.72].

Jak może zmylić. Przy 30 siłach część różnic wyjdzie przypadkiem. Grzywal w grupie 30–44 lata wygląda na ulubieńca (0.19 wobec −0.25 i −0.19), choć w danych takiej różnicy nie ukryliśmy. Wnioski o segmentach opieraj na teście całej interakcji i na różnicach, które przewidziałeś przed badaniem.

Podpis do pracy:

Rysunek 4. Siła propozycji nazw w modelu Bradleya–Terry’ego w trzech grupach wieku. Uwaga. Model z interakcją siły nazwy i grupy wieku oraz wspólnym efektem strony ekranu; siły wyśrodkowane w każdej grupie; kreski – 95% przedziały ufności. n = 212, 249 i 139 respondentów. Dane fikcyjne.

Zdanie do Wyników: „Siła nazw zależała od wieku respondentów, χ²(18) = 101.02, p < .001; w grupie 45+ najsilniejsza była nazwa Borodar (λ = 0.74, 95% CI [0.56, 0.91])”.

Rysunek 5: ilu respondentów i ile par na osobę

Przed badaniem policz, jak często plan wskaże właściwe nazwy. Symulowaliśmy 250 badań dla każdego z 12 wariantów: 50–400 osób oraz 5, 15 lub 30 par na osobę, z tymi samymi siłami, przewagą lewej strony i różnicami gustu co w danych. To odpowiednik mocy testu dla rankingu.

Dwa panele z liniami dla 5, 15 i 30 par na osobę, na osi poziomej 50, 100, 200 i 400 respondentów. A: odsetek badań, w których pierwsza jest jedna z dwóch najlepszych nazw – od 72% przy 50 osobach i 5 parach do 100% przy 400 osobach; linie 15 i 30 par powyżej 90% już od 50 osób. B: odsetek badań z trafnie rozpoznaną trójką najlepszych – przy 5 parach od 29% do 78%, przy 15 parach od 47% do 95%, przy 30 parach od 73% do 99.6%
Rysunek 5. Odsetek symulowanych badań, w których model wskazał jedną z dwóch najlepszych nazw jako pierwszą (A) i trafnie rozpoznał trzy najlepsze nazwy (B). Obliczenia: R (dane fikcyjne, 250 badań na punkt, set.seed(7372)).

Co widać. Przy 400 osobach i 15 parach zwycięzcą zawsze była jedna z dwóch najlepszych nazw, a trójkę najlepszych model trafił w 95.2% badań. Samego Dębroka wskazał w 87.6%, bo jego przewaga nad Kniejanem jest mała. Przy 100 osobach i 15 parach trójkę trafiło 69.2% badań, a przy 50 osobach i 5 parach – tylko 28.8%. Liczy się głównie łączna liczba porównań. 50 osób po 30 par (1500 porównań) dało 72.8%, a 100 osób po 15 par (też 1500) – 69.2%. Błąd Monte Carlo wynosi najwyżej ±3.2 p.p.

Jak może zmylić. Symulacja nie zna zmęczenia: przy 30 parach odpowiedzi pod koniec bywają przypadkowe. Ogólne zasady doboru liczebności opisuje hasło liczebność próby w ankiecie.

Podpis do pracy:

Rysunek 5. Trafność rankingu nazw w zależności od liczby respondentów i liczby par na osobę. Uwaga. 250 symulowanych badań na punkt; siły nazw, efekt strony ekranu i zróżnicowanie gustu respondentów jak w badaniu głównym; zrównoważone wersje ankiety. Dane fikcyjne.

Zdanie do Metody: „Liczebność ustalono symulacyjnie: przy 400 respondentach i 15 parach na osobę trzy najsilniejsze nazwy były trafnie rozpoznawane w 95.2% z 250 symulowanych badań”.

Co z tym zrobić w marketingu

  • Ogłoś dwie nazwy, nie jedną. Dębrok i Kniejan są statystycznie nie do odróżnienia (.503 w bezpośrednim starciu). O wyborze niech zdecydują kryteria spoza ankiety: wolna domena, rejestracja znaku, wymowa za granicą.
  • Odrzuć dół listy bez żalu. Wąsoń przegrywa z Dębrokiem w 72.3% starć, a razem z Brzozalem w żadnej próbie bootstrapowej nie wyszedł poza miejsca 9–10.
  • Sprawdź grupę docelową. Jeśli linia ma trafić do mężczyzn 45+, Borodar jest u nich najsilniejszy. Jeśli do najmłodszych, Wąsoń przestaje być wyraźnie słaby. Wyniki dla całej próby pomijają to, kto naprawdę będzie kupował.
  • Nie licz zwycięzcy z odsetka wygranych po dogrywce. Dogrywka finalistów to dobry pomysł, ale tylko z modelem, który wie, kto z kim grał.
  • Sprawdź finalistów na produkcie. W ankiecie nazwa nie ma opakowania ani ceny. Dwie najlepsze sprawdź w teście reklamy albo w badaniu świadomości (zob. świadomość marki spontaniczna i wspomagana). Gdy porównujesz cechy, a nie nazwy, lepiej sprawdzi się MaxDiff albo conjoint wyborczy.

Respondenci z panelu internetowego mogą się różnić od kupujących; o tym, kiedy ważenie pomaga, piszemy we wpisie panel internetowy a próba losowa. Inne tematy na pracę z tej dziedziny zbiera wpis statystyka w pracy z marketingu.

Jak opisać w pracy

W Metodzie opisz plan porównań, model i bootstrap. W Wynikach podaj testy, siły z przedziałami i wynik bootstrapu. W Dyskusji wymień ograniczenia: nazwa oceniana bez produktu, siła względna wobec tej listy.

Metoda. Dziesięć propozycji nazw marki porównano parami. W etapie 1 450 respondentów oceniło po 15 z 45 par w jednej z trzech zrównoważonych wersji ankiety (każda nazwa trzy razy w wersji); w etapie 2 150 respondentów porównało wszystkie 15 par sześciu nazw z najwyższym odsetkiem wygranych w etapie 1. Kolejność par i strona prezentacji były losowe. Dane analizowano modelem Bradleya–Terry’ego dopasowanym jako regresja logistyczna z macierzą kontrastów (+1 dla nazwy po lewej, −1 po prawej) i wyrazem wolnym oznaczającym przewagę lewej strony. Zgodność modelu oceniono testem ilorazu wiarygodności wobec modelu nasyconego dla 45 par, niepewność rankingu – bootstrapem respondentów (1000 prób, losowanie w obrębie etapów), a różnice między grupami wieku – testem interakcji siły nazwy i grupy. Obliczenia wykonano w R 4.5.3.
Wyniki. Nazwy różniły się siłą, χ²(9) = 427.22, p < .001, a model dobrze opisywał wszystkie pary, χ²(36) = 34.62, p = .534. Najsilniejsze były Dębrok (λ = 0.48, 95% CI [0.40, 0.56]) i Kniejan (λ = 0.46, 95% CI [0.38, 0.55]); prawdopodobieństwo wyboru Dębroka zamiast Kniejana wyniosło .503, 95% CI [.473, .532]. W bootstrapie Dębrok zajmował pierwsze miejsce w 54.6%, a Kniejan w 45.4% prób. Nazwa po lewej stronie ekranu była wybierana częściej (δ = 0.13, 95% CI [0.09, 0.18]). Siła nazw zależała od wieku respondentów, χ²(18) = 101.02, p < .001: w grupie 45+ najsilniejsza była nazwa Borodar (λ = 0.74, 95% CI [0.56, 0.91]).
Przykład reprodukowalny

Kod R wszystkich rysunków

Kod odtwarza wszystkie liczby z tekstu i pięć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy dane, paletę i motyw, przepis 3 – funkcję macierz_bt(), model bt i tabelę sily. Przepisy z rysunkami kończą się nazwą wykresu (p1–p5), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki) – dane, geometrie i skale są identyczne.

Każdy losujący blok zaczyna od własnego ziarna: 737 (dane, przepis 1), 7371 (1000 prób bootstrapowych, przepis 4), 7372 (12 wariantów planu po 250 symulowanych badań, przepis 6) i 7373 (1000 symulacji stałej strony ekranu, przepis 7). Ziaren nie dobieraliśmy pod wynik. Ręcznie ustalono (przepis 1): 10 nazw i ich siły na skali logitu (0.55, 0.45, 0.30, 0.15, 0.05, 0, −0.10, −0.25, −0.40, −0.60, potem wyśrodkowane), różnice gustu grup wieku (18–29: Wąsoń +0.6, Borodar −0.3; 45+: Wąsoń −0.4, Borodar +0.5, Kniejan +0.2), przewagę lewej strony 0.15, odchylenie gustu osoby 0.4, udział grup wieku 35/40/25%, 450 osób w etapie 1 i 150 w etapie 2, 6 finalistów. Ręcznie przyjęto też liczbę prób (1000 i 250) i warianty planu. Po pierwszym uruchomieniu zmieniliśmy tylko dwie rzeczy, żadna nie dotyczy danych: w symulacji stałej strony (przepis 7) kolejność listy z kolejności sił na alfabetyczną, bo tak zwykle wygląda lista w ankiecie, oraz skalę barw rysunku 3 na czytelniejszą. Przepis 1 zapisuje dane do pliku CSV w katalogu roboczym. Cały kod liczy się w nieco ponad minutę, najdłużej przepis 7.

1. Dane: plan zrównoważony, dwa etapy i 9000 porównań

Dane wejściowe: nic – dane losuje kod. Na początku paleta Okabe–Ito kol i motyw motyw, potem ręczne parametry: siły nazw, różnice gustu grup wieku, przewaga lewej strony i zróżnicowanie osób; funkcja karuzela() dzieli 45 par na 9 rund.

Co odczytać: liczbę osób i porównań, tabelę wystąpień każdej nazwy w wersjach A–C (zawsze 3), liczbę porównań na parę, listę finalistów i odsetek wyborów lewej nazwy; przepis zapisuje też plik CSV w katalogu roboczym.

R
# Przepis 1. Fikcyjna marka kosmetyków do pielęgnacji brody: 10 propozycji nazw, porównania parami.
# Etap 1: 450 osób, 3 wersje ankiety po 15 par (zrównoważony dobór par). Etap 2: dogrywka 6 finalistów,
# 150 osób, każda ocenia wszystkie 15 par finalistów. W każdej parze: „Która nazwa bardziej pasuje do marki?”
library(ggplot2); library(patchwork)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw
kol <- c(niebieski = "#0072B2", pomaranczowy = "#E69F00", cynober = "#D55E00", blekit = "#56B4E9",
         zielony = "#009E73", szary = "grey55", ciemny = "grey20")
motyw <- theme_minimal(base_size = 14) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))

# Ręczne parametry (ustalone przed pierwszym uruchomieniem, opisane na stronie)
nazwy <- c("Dębrok", "Kniejan", "Borodar", "Jodłar", "Torfin", "Mchowiec", "Grzywal", "Sęklin", "Brzozal", "Wąsoń")
K <- length(nazwy)
sila_prawdziwa <- setNames(c(0.55, 0.45, 0.30, 0.15, 0.05, 0, -0.10, -0.25, -0.40, -0.60), nazwy)
sila_prawdziwa <- sila_prawdziwa - mean(sila_prawdziwa)          # skala wyśrodkowana: średnia siła = 0
wiek_grupy <- c("18–29", "30–44", "45+")
odchylenie_wieku <- matrix(0, 3, K, dimnames = list(wiek_grupy, nazwy))   # różnice gustu grup wieku
odchylenie_wieku["18–29", c("Wąsoń", "Borodar")] <- c(0.6, -0.3)
odchylenie_wieku["45+", c("Wąsoń", "Borodar", "Kniejan")] <- c(-0.4, 0.5, 0.2)
przewaga_lewej <- 0.15      # logit: nazwa po lewej stronie ekranu wybierana nieco częściej
sd_osoby <- 0.4             # indywidualne różnice gustu (odchylenie siły każdej nazwy u każdej osoby)

# Zrównoważony plan: 45 par dzielimy metodą „karuzeli” na 9 rund po 5 rozłącznych par;
# wersja A = rundy 1–3, B = 4–6, C = 7–9. W każdej wersji każda nazwa występuje dokładnie 3 razy.
karuzela <- function(K) {
  inne <- 2:K; rundy <- list()
  for (r in 1:(K - 1)) {
    uklad <- c(1, inne)
    rundy[[r]] <- cbind(uklad[1:(K / 2)], rev(uklad)[1:(K / 2)])
    inne <- c(inne[K - 1], inne[-(K - 1)])                      # obrót wszystkich poza pierwszą
  }
  rundy
}
rundy <- karuzela(K)
wersje <- lapply(1:3, function(v) do.call(rbind, rundy[(3 * v - 2):(3 * v)]))
names(wersje) <- c("A", "B", "C")

losuj_odpowiedzi <- function(id, etap, wersja, pary_idx, wiek) {
  sila_osoby <- sila_prawdziwa + odchylenie_wieku[wiek, ] + rnorm(K, 0, sd_osoby)
  pary_idx <- pary_idx[sample(nrow(pary_idx)), , drop = FALSE]  # losowa kolejność par
  zamien <- runif(nrow(pary_idx)) < 0.5                         # losowa strona: lewa / prawa
  lewa <- ifelse(zamien, pary_idx[, 2], pary_idx[, 1]); prawa <- ifelse(zamien, pary_idx[, 1], pary_idx[, 2])
  p_lewej <- plogis(przewaga_lewej + sila_osoby[lewa] - sila_osoby[prawa])
  data.frame(osoba = id, etap = etap, wersja = wersja, wiek = wiek, kolejnosc = seq_along(lewa),
             lewa = nazwy[lewa], prawa = nazwy[prawa], wybrana_lewa = rbinom(length(lewa), 1, p_lewej))
}

set.seed(737)                                       # ziarno ustalone raz, bez dobierania pod wynik
wiek1 <- sample(wiek_grupy, 450, TRUE, c(0.35, 0.40, 0.25))
etap1 <- do.call(rbind, lapply(1:450, function(i) {
  w <- c("A", "B", "C")[(i - 1) %% 3 + 1]          # wersje przydzielane po kolei: po 150 osób
  losuj_odpowiedzi(sprintf("R%03d", i), 1, w, wersje[[w]], wiek1[i])
}))

# Odsetek wygranych w etapie 1 -> sześć nazw przechodzi do dogrywki
wygrane <- function(d) {
  zwyc <- ifelse(d$wybrana_lewa == 1, d$lewa, d$prawa)
  gry <- table(factor(c(d$lewa, d$prawa), nazwy)); w <- table(factor(zwyc, nazwy))
  data.frame(nazwa = nazwy, porownan = as.vector(gry), wygranych = as.vector(w), odsetek = as.vector(w / gry))
}
w1 <- wygrane(etap1)
finalisci <- w1$nazwa[order(-w1$odsetek)][1:6]
pary_final <- t(combn(match(finalisci, nazwy), 2))          # 15 par finalistów
wiek2 <- sample(wiek_grupy, 150, TRUE, c(0.35, 0.40, 0.25))
etap2 <- do.call(rbind, lapply(1:150, function(i)
  losuj_odpowiedzi(sprintf("R%03d", 450 + i), 2, "D", pary_final, wiek2[i])))
dane <- rbind(etap1, etap2)
write.csv(dane, "wybor-nazwy-porownania-parami.csv", row.names = FALSE)

cat("Osób:", length(unique(dane$osoba)), "| porównań:", nrow(dane), "| etap 1:", nrow(etap1), "| etap 2:", nrow(etap2), "\n")
cat("Każda nazwa w każdej wersji występuje razy:\n")
print(sapply(wersje, function(m) table(factor(nazwy[c(m)], nazwy))))
para_klucz <- function(a, b) ifelse(match(a, nazwy) < match(b, nazwy), paste(a, b, sep = " – "), paste(b, a, sep = " – "))
liczba_par <- table(para_klucz(dane$lewa, dane$prawa))
cat("Różnych par:", length(liczba_par), "| porównań na parę: od", min(liczba_par), "do", max(liczba_par), "\n")
cat("Finaliści (wg odsetka wygranych w etapie 1):", paste(finalisci, collapse = ", "), "\n")
cat(sprintf("Wybrano nazwę po lewej: %.1f%% porównań\n", 100 * mean(dane$wybrana_lewa)))
print(table(wiek = dane$wiek[!duplicated(dane$osoba)]))
Wynik w R
Osób: 600 | porównań: 9000 | etap 1: 6750 | etap 2: 2250 
Każda nazwa w każdej wersji występuje razy:
         A B C
Dębrok   3 3 3
Kniejan  3 3 3
Borodar  3 3 3
Jodłar   3 3 3
Torfin   3 3 3
Mchowiec 3 3 3
Grzywal  3 3 3
Sęklin   3 3 3
Brzozal  3 3 3
Wąsoń    3 3 3
Różnych par: 45 | porównań na parę: od 150 do 300 
Finaliści (wg odsetka wygranych w etapie 1): Dębrok, Kniejan, Borodar, Jodłar, Torfin, Mchowiec 
Wybrano nazwę po lewej: 53.3% porównań
wiek
18–29 30–44   45+ 
  212   249   139 

2. Grafika: karta pary nazw i plan wersji A: Rysunek 1

Dane wejściowe: nazwy, K, wersje, kol z przepisu 1. Przepis nic nie losuje.

Co odczytać: rysunek p1; przepis nie wypisuje liczb.

R
# Przepis 2. Grafika: karta pary nazw (co widzi respondent) i plan wersji A jako sieć 15 par
# Korzysta z obiektów nazwy, K, wersje, dane, kol i motyw z przepisu 1. Nic nie losuje.
pusty <- theme_void(base_size = 14) + theme(plot.background = element_rect(fill = "white", colour = NA),
                                             plot.title = element_text(face = "bold", colour = "#0f1d3a"),
                                             plot.margin = margin(10, 10, 10, 10))
# A: karta jednej pary w ankiecie
kafle <- data.frame(x = c(1.6, 4.4), nazwa = c("Kniejan", "Torfin"), strona = c("lewa", "prawa"))
pA <- ggplot() +
  annotate("rect", xmin = 0, xmax = 6, ymin = 0, ymax = 6, fill = "grey97", colour = "grey60") +
  annotate("text", x = 0.3, y = 5.45, label = "Para 7 z 15", hjust = 0, size = 3.6, colour = "grey35") +
  annotate("text", x = 3, y = 4.7, label = "Która nazwa bardziej pasuje\ndo kosmetyków do pielęgnacji brody?",
           size = 4.3, fontface = "bold", colour = "#0f1d3a", lineheight = 0.95) +
  geom_rect(data = kafle, aes(xmin = x - 1.2, xmax = x + 1.2, ymin = 1.9, ymax = 3.6),
            fill = "white", colour = kol[["niebieski"]], linewidth = 0.9) +
  geom_text(data = kafle, aes(x = x, y = 2.75, label = nazwa), size = 5.2, fontface = "bold", colour = "grey15") +
  geom_text(data = kafle, aes(x = x, y = 1.5, label = paste("strona", strona)), size = 3.4, colour = "grey35") +
  annotate("text", x = 3, y = 2.75, label = "czy", size = 3.8, colour = "grey40") +
  annotate("text", x = 3, y = 0.55, label = "Kolejność par i strona nazwy losowane dla każdej osoby",
           size = 3.3, colour = "grey30") +
  coord_equal(xlim = c(0, 6), ylim = c(0, 6)) + labs(title = "A. Jedno pytanie: wybór z pary") + pusty

# B: wersja A ankiety jako sieć – 10 nazw na okręgu, krawędź = para, którą widzi każda osoba z tej wersji
kat <- pi / 2 - 2 * pi * (0:(K - 1)) / K
wezly <- data.frame(nazwa = nazwy, x = cos(kat), y = sin(kat))
kraw <- data.frame(x = wezly$x[wersje$A[, 1]], y = wezly$y[wersje$A[, 1]],
                   xend = wezly$x[wersje$A[, 2]], yend = wezly$y[wersje$A[, 2]])
pB <- ggplot() +
  geom_segment(data = kraw, aes(x = x, y = y, xend = xend, yend = yend), colour = kol[["blekit"]], linewidth = 0.9) +
  geom_point(data = wezly, aes(x, y), size = 5, shape = 21, fill = "white", colour = kol[["niebieski"]], stroke = 1.2) +
  geom_text(data = wezly, aes(x = 1.3 * x, y = 1.2 * y, label = nazwa), size = 3.8, colour = "grey15") +
  annotate("text", x = 0, y = -1.55, size = 3.4, colour = "grey30", lineheight = 0.95,
           label = "Wersja A: 15 z 45 par, każda nazwa 3 razy.\nWersje A, B, C razem: każda para 150 razy") +
  coord_equal(xlim = c(-1.6, 1.6), ylim = c(-1.8, 1.3), clip = "off") +
  labs(title = "B. Plan wersji A: kto z kim gra") + pusty
p1 <- pA + pB + plot_layout(widths = c(1, 1))
p1   # ggsave("wybor-nazwy-karta-pary.svg", p1, width = 10, height = 5.6)

3. Model Bradleya–Terry’ego, odsetek wygranych i przechodniość: Rysunek 2

Dane wejściowe: dane, nazwy, K, sila_prawdziwa, wygrane(), para_klucz(), finalisci, kol, motyw z przepisu 1. Przepis nic nie losuje.

Co odczytać: przewagę lewej strony, siły z 95% CI obok wartości prawdziwych, test różnic między nazwami, prawdopodobieństwa wygranej w czterech parach, tabelę odsetków wygranych (etap 1 i razem) z rangami oraz test modelu wobec modelu nasyconego.

R
# Przepis 3. Model Bradleya–Terry'ego „ręcznie” przez glm(): macierz kontrastów +1 (lewa) / −1 (prawa)
# Korzysta z obiektów dane, nazwy, K, sila_prawdziwa, wygrane(), para_klucz(), finalisci, kol i motyw z przepisu 1.
# Model: logit P(wybrana lewa) = przewaga lewej + siła[lewa] − siła[prawa]; Dębrok = 0 (punkt odniesienia)
macierz_bt <- function(d) {
  X <- matrix(0, nrow(d), K, dimnames = list(NULL, nazwy))
  X[cbind(seq_len(nrow(d)), match(d$lewa, nazwy))] <- 1
  X[cbind(seq_len(nrow(d)), match(d$prawa, nazwy))] <- -1
  X[, -1, drop = FALSE]                                     # usuwamy Dębrok: jego siła = 0
}
bt <- glm(dane$wybrana_lewa ~ macierz_bt(dane), family = binomial)   # wyraz wolny = przewaga lewej strony
b <- coef(bt); V <- vcov(bt)
cat(sprintf("Przewaga lewej strony: %.3f [%.3f, %.3f] (logit); przy równych nazwach lewą wybiera %.1f%%\n",
            b[1], b[1] - 1.96 * sqrt(V[1, 1]), b[1] + 1.96 * sqrt(V[1, 1]), 100 * plogis(b[1])))

# Siły na skali wyśrodkowanej (średnia = 0) z 95% CI: lambda_c = C lambda, Var = C V C'
C <- diag(K) - 1 / K
Vl <- matrix(0, K, K); Vl[-1, -1] <- V[-1, -1]
lam <- C %*% c(0, b[-1]); se_c <- sqrt(diag(C %*% Vl %*% t(C)))
sily <- data.frame(nazwa = nazwy, sila = as.vector(lam), dolna = as.vector(lam) - 1.96 * se_c,
                   gorna = as.vector(lam) + 1.96 * se_c, prawda = as.vector(sila_prawdziwa))
sily$p_wygr_z_przecietna <- plogis(sily$sila)               # szansa wygranej z nazwą o sile 0
sily <- sily[order(-sily$sila), ]
print(sily, digits = 2, row.names = FALSE)
anova(glm(dane$wybrana_lewa ~ 1, family = binomial), bt, test = "LRT")   # czy nazwy w ogóle się różnią

# Prawdopodobieństwo wygranej w wybranych parach (przy losowej stronie) z 95% CI metodą delta
p_pary <- function(i, j) {
  a <- numeric(K); a[match(i, nazwy)] <- 1; a[match(j, nazwy)] <- -1
  r <- sum(a * c(0, b[-1])); s <- sqrt(drop(t(a) %*% Vl %*% a))
  round(c(p = plogis(r), dolna = plogis(r - 1.96 * s), gorna = plogis(r + 1.96 * s)), 3)
}
rbind(`Dębrok – Kniejan` = p_pary("Dębrok", "Kniejan"), `Dębrok – Borodar` = p_pary("Dębrok", "Borodar"),
      `Dębrok – Wąsoń` = p_pary("Dębrok", "Wąsoń"), `Grzywal – Mchowiec` = p_pary("Grzywal", "Mchowiec"))

# Zwykły odsetek wygranych: etap 1 (plan zrównoważony) i wszystkie dane (z dogrywką finalistów)
odsetki <- merge(setNames(wygrane(subset(dane, etap == 1))[, c(1, 4)], c("nazwa", "odsetek_etap1")),
                 setNames(wygrane(dane)[, c(1, 2, 4)], c("nazwa", "porownan_razem", "odsetek_razem")))
odsetki <- merge(odsetki, sily[, c("nazwa", "sila")])
odsetki <- odsetki[order(-odsetki$sila), ]
odsetki$ranga_sila <- rank(-odsetki$sila); odsetki$ranga_odsetek_razem <- rank(-odsetki$odsetek_razem)
print(odsetki, digits = 3, row.names = FALSE)

# Test zgodności (przechodniość): model nasycony – osobne prawdopodobieństwo dla każdej z 45 par
klucz <- para_klucz(dane$lewa, dane$prawa)
pierwsza_w_kluczu <- sub(" – .*", "", klucz)
wygrala_pierwsza <- ifelse(dane$lewa == pierwsza_w_kluczu, dane$wybrana_lewa, 1 - dane$wybrana_lewa)
po_lewej <- ifelse(dane$lewa == pierwsza_w_kluczu, 1, -1)       # +1: pierwsza nazwa pary była po lewej
X1 <- macierz_bt(data.frame(lewa = pierwsza_w_kluczu, prawa = sub(".* – ", "", klucz)))
m_bt <- glm(wygrala_pierwsza ~ 0 + po_lewej + X1, family = binomial)
m_nas <- glm(wygrala_pierwsza ~ 0 + po_lewej + factor(klucz), family = binomial)
anova(m_bt, m_nas, test = "LRT")

# Rysunek 2: siły z CI (A) i odsetek wygranych a siła (B)
sily$nazwa <- factor(sily$nazwa, rev(sily$nazwa))
pA <- ggplot(sily, aes(y = nazwa)) +
  geom_vline(xintercept = 0, colour = "grey60", linetype = "dashed") +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0.25, orientation = "y", colour = kol[["niebieski"]], linewidth = 0.8) +
  geom_point(aes(x = sila), colour = kol[["niebieski"]], size = 3) +
  geom_point(aes(x = prawda), shape = 4, size = 3, stroke = 1.1, colour = kol[["cynober"]]) +
  labs(title = "A. Siła nazwy z 95% CI", x = "siła (logit; średnia = 0)", y = NULL,
       subtitle = "krzyżyk = wartość prawdziwa") + motyw
odsetki$final <- ifelse(odsetki$nazwa %in% finalisci, "finalista dogrywki", "bez dogrywki")
pB <- ggplot(odsetki, aes(sila, odsetek_razem)) +
  geom_point(aes(colour = final, shape = final), size = 3.2) +
  ggrepel::geom_text_repel(aes(label = nazwa), size = 3.6, seed = 1, min.segment.length = 0.2) +
  scale_colour_manual(values = c(`finalista dogrywki` = kol[["cynober"]], `bez dogrywki` = kol[["niebieski"]]), name = NULL) +
  scale_shape_manual(values = c(`finalista dogrywki` = 17, `bez dogrywki` = 16), name = NULL) +
  scale_y_continuous(labels = function(x) paste0(100 * x, "%")) +
  labs(title = "B. Odsetek wygranych a siła", x = "siła z modelu (logit)", y = "odsetek wygranych (wszystkie dane)") + motyw
p2 <- pA + pB
p2   # ggsave("wybor-nazwy-sily-bradley-terry.svg", p2, width = 10, height = 5.6)
Wynik w R
Przewaga lewej strony: 0.134 [0.092, 0.177] (logit); przy równych nazwach lewą wybiera 53.4%
    nazwa    sila  dolna  gorna prawda p_wygr_z_przecietna
   Dębrok  0.4752  0.395  0.556  0.535                0.62
  Kniejan  0.4649  0.384  0.545  0.435                0.61
  Borodar  0.2488  0.170  0.328  0.285                0.56
   Jodłar  0.0996  0.021  0.178  0.135                0.52
   Torfin -0.0029 -0.082  0.076  0.035                0.50
 Mchowiec -0.0079 -0.087  0.071 -0.015                0.50
  Grzywal -0.0503 -0.148  0.047 -0.115                0.49
   Sęklin -0.2272 -0.325 -0.129 -0.265                0.44
    Wąsoń -0.4859 -0.587 -0.385 -0.615                0.38
  Brzozal -0.5143 -0.615 -0.413 -0.415                0.37
Analysis of Deviance Table

Model 1: dane$wybrana_lewa ~ 1
Model 2: dane$wybrana_lewa ~ macierz_bt(dane)
  Resid. Df Resid. Dev Df Deviance  Pr(>Chi)    
1      8999      12438                          
2      8990      12011  9   427.22 < 2.2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
                       p dolna gorna
Dębrok – Kniejan   0.503 0.473 0.532
Dębrok – Borodar   0.556 0.528 0.585
Dębrok – Wąsoń     0.723 0.695 0.750
Grzywal – Mchowiec 0.489 0.456 0.523
    nazwa odsetek_etap1 porownan_razem odsetek_razem     sila ranga_sila ranga_odsetek_razem
   Dębrok         0.636           2100         0.609  0.47518          1                   1
  Kniejan         0.612           2100         0.606  0.46490          2                   2
  Borodar         0.563           2100         0.546  0.24882          3                   3
   Jodłar         0.537           2100         0.505  0.09956          4                   4
   Torfin         0.504           2100         0.477 -0.00294          5                   6
 Mchowiec         0.487           2100         0.475 -0.00788          6                   7
  Grzywal         0.486           1350         0.486 -0.05031          7                   5
   Sęklin         0.439           1350         0.439 -0.22717          8                   8
    Wąsoń         0.372           1350         0.372 -0.48586          9                   9
  Brzozal         0.364           1350         0.364 -0.51431         10                  10
Analysis of Deviance Table

Model 1: wygrala_pierwsza ~ 0 + po_lewej + X1
Model 2: wygrala_pierwsza ~ 0 + po_lewej + factor(klucz)
  Resid. Df Resid. Dev Df Deviance Pr(>Chi)
1      8990      12011                     
2      8954      11976 36   34.616   0.5344

4. Ranking z niepewnością: bootstrap respondentów: Rysunek 3

Dane wejściowe: dane, macierz_bt(), sily z przepisów 1 i 3. Losuje – set.seed(7371).

Co odczytać: odsetek prób, w których nazwa jest pierwsza i w pierwszej trójce, 95% zakres rang i błąd Monte Carlo.

R
# Przepis 4. Ranking z niepewnością: bootstrap respondentów (całe osoby, osobno w każdym etapie)
# Korzysta z dane, nazwy, K, macierz_bt(), sily, kol i motyw z przepisów 1 i 3. Losuje – własne set.seed(7371).
X <- cbind(1, macierz_bt(dane)); y <- dane$wybrana_lewa
wiersze <- split(seq_len(nrow(dane)), dane$osoba)
pierwszy <- !duplicated(dane$osoba)
osoby_etap <- split(dane$osoba[pierwszy], dane$etap[pierwszy])                    # 450 osób z etapu 1, 150 z etapu 2
B <- 1000
set.seed(7371)
rangi <- t(replicate(B, {
  wyb <- unlist(lapply(osoby_etap, function(o) sample(o, replace = TRUE)))   # losowanie osób ze zwracaniem
  w <- unlist(wiersze[wyb], use.names = FALSE)
  f <- glm.fit(X[w, ], y[w], family = binomial())
  rank(-c(0, f$coefficients[-1]), ties.method = "random")                     # ranga 1 = najsilniejsza nazwa
}))
colnames(rangi) <- nazwy
tab_rang <- sapply(nazwy, function(n) tabulate(rangi[, n], K) / B)              # wiersze: ranga 1..K
wynik <- data.frame(nazwa = nazwy, ranga_w_modelu = rank(-sily$sila[match(nazwy, sily$nazwa)]),
                    p_pierwsza = colMeans(rangi == 1), p_top3 = colMeans(rangi <= 3),
                    ranga_2.5 = apply(rangi, 2, quantile, 0.025), ranga_97.5 = apply(rangi, 2, quantile, 0.975))
print(wynik[order(wynik$ranga_w_modelu), ], digits = 3, row.names = FALSE)
cat(sprintf("Błąd Monte Carlo przy P(pierwsza) ≈ 0.5: ±%.3f (1 SE przy B = %d)\n", sqrt(0.25 / B), B))

# Rysunek 3: rozkład rang z bootstrapu (mapa: im ciemniej, tym częściej nazwa na danym miejscu)
siatka <- data.frame(nazwa = rep(nazwy, each = K), ranga = rep(1:K, K), udzial = as.vector(tab_rang))
kolej <- wynik$nazwa[order(wynik$ranga_w_modelu)]
siatka$nazwa <- factor(siatka$nazwa, rev(kolej))
p3 <- ggplot(siatka, aes(ranga, nazwa, fill = udzial)) +
  geom_tile(colour = "white", linewidth = 0.6) +
  geom_text(aes(label = ifelse(udzial >= 0.005, sprintf("%.0f", 100 * udzial), "")),
            colour = ifelse(siatka$udzial > 0.45, "white", "grey15"), size = 3.6) +
  scale_fill_gradient(low = "grey97", high = "#00204D", limits = c(0, 1), labels = function(x) paste0(100 * x, "%"),
                      name = "odsetek prób bootstrapowych") +
  scale_x_continuous(breaks = 1:K, expand = c(0, 0)) +
  labs(title = "Na którym miejscu ląduje każda nazwa (1000 prób bootstrapowych)",
       x = "miejsce w rankingu (1 = najlepsza)", y = NULL) +
  motyw + theme(panel.grid = element_blank(), legend.key.width = unit(1.6, "cm"))
p3   # ggsave("wybor-nazwy-ranking-bootstrap.svg", p3, width = 10, height = 5.6)
Wynik w R
    nazwa ranga_w_modelu p_pierwsza p_top3 ranga_2.5 ranga_97.5
   Dębrok              1      0.546  1.000         1          2
  Kniejan              2      0.454  1.000         1          2
  Borodar              3      0.000  0.992         3          3
   Jodłar              4      0.000  0.008         4          5
   Torfin              5      0.000  0.000         4          7
 Mchowiec              6      0.000  0.000         4          7
  Grzywal              7      0.000  0.000         5          7
   Sęklin              8      0.000  0.000         8          8
    Wąsoń              9      0.000  0.000         9         10
  Brzozal             10      0.000  0.000         9         10
Błąd Monte Carlo przy P(pierwsza) ≈ 0.5: ±0.016 (1 SE przy B = 1000)

5. Grupy wieku: model z interakcją: Rysunek 4

Dane wejściowe: dane, macierz_bt(), bt, C, odchylenie_wieku z przepisów 1 i 3. Przepis nic nie losuje.

Co odczytać: test interakcji, AIC obu modeli, siły w trzech grupach wieku i przedziały dla czterech nazw obok wartości prawdziwych.

R
# Przepis 5. Niejednorodność: czy grupy wieku wybierają inaczej? Interakcja siła × grupa wieku
# Korzysta z dane, nazwy, K, macierz_bt(), bt, C, odchylenie_wieku, sila_prawdziwa, sily, kol i motyw z przepisów 1 i 3.
Xw <- macierz_bt(dane)
X_seg <- do.call(cbind, lapply(wiek_grupy, function(g) {
  M <- Xw * (dane$wiek == g); colnames(M) <- paste0(colnames(Xw), "@", g); M }))
bt_seg <- glm(dane$wybrana_lewa ~ X_seg, family = binomial)   # osobne siły w grupach, wspólna przewaga lewej
anova(bt, bt_seg, test = "LRT")                               # test interakcji: 18 dodatkowych parametrów
cat("AIC: model wspólny", round(AIC(bt), 1), "| model z grupami wieku", round(AIC(bt_seg), 1), "\n")

# Siły w grupach (skala wyśrodkowana w każdej grupie) z 95% CI
b_s <- coef(bt_seg); V_s <- vcov(bt_seg)
seg <- do.call(rbind, lapply(wiek_grupy, function(g) {
  idx <- which(endsWith(names(b_s), paste0("@", g)))
  Vl <- matrix(0, K, K); Vl[-1, -1] <- V_s[idx, idx]
  lam <- as.vector(C %*% c(0, b_s[idx])); se <- sqrt(diag(C %*% Vl %*% t(C)))
  n_osob <- length(unique(dane$osoba[dane$wiek == g]))
  data.frame(wiek = g, n_osob = n_osob, nazwa = nazwy, sila = lam, dolna = lam - 1.96 * se, gorna = lam + 1.96 * se,
             prawda = as.vector(sila_prawdziwa + odchylenie_wieku[g, ] - mean(odchylenie_wieku[g, ])))
}))
print(reshape(seg[, c("wiek", "nazwa", "sila")], idvar = "nazwa", timevar = "wiek", direction = "wide"), digits = 2, row.names = FALSE)
print(seg[seg$nazwa %in% c("Wąsoń", "Borodar", "Dębrok", "Kniejan"), c("wiek", "n_osob", "nazwa", "sila", "dolna", "gorna", "prawda")],
      digits = 2, row.names = FALSE)

# Rysunek 4: siły nazw w trzech grupach wieku
seg$nazwa <- factor(seg$nazwa, rev(as.character(sily$nazwa[order(-sily$sila)])))
seg$wiek <- factor(seg$wiek, wiek_grupy)
p4 <- ggplot(seg, aes(sila, nazwa, colour = wiek, shape = wiek)) +
  geom_vline(xintercept = 0, colour = "grey60", linetype = "dashed") +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0, orientation = "y", linewidth = 0.7,
                position = position_dodge(width = 0.6)) +
  geom_point(size = 2.8, position = position_dodge(width = 0.6)) +
  scale_colour_manual(values = c(`18–29` = kol[["pomaranczowy"]], `30–44` = kol[["ciemny"]], `45+` = kol[["niebieski"]]),
                      name = "grupa wieku") +
  scale_shape_manual(values = c(`18–29` = 15, `30–44` = 16, `45+` = 17), name = "grupa wieku") +
  labs(title = "Siła nazw w grupach wieku (95% CI)", x = "siła (logit; średnia w grupie = 0)", y = NULL) + motyw
p4   # ggsave("wybor-nazwy-grupy-wieku.svg", p4, width = 10, height = 5.8)
Wynik w R
Analysis of Deviance Table

Model 1: dane$wybrana_lewa ~ macierz_bt(dane)
Model 2: dane$wybrana_lewa ~ X_seg
  Resid. Df Resid. Dev Df Deviance  Pr(>Chi)    
1      8990      12011                          
2      8972      11910 18   101.02 1.442e-13 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
AIC: model wspólny 12030.7 | model z grupami wieku 11965.7 
    nazwa sila.18–29 sila.30–44 sila.45+
   Dębrok      0.407      0.536    0.478
  Kniejan      0.469      0.418    0.559
  Borodar     -0.019      0.231    0.735
   Jodłar      0.201      0.042    0.051
   Torfin     -0.094      0.044    0.060
 Mchowiec      0.035     -0.027   -0.044
  Grzywal     -0.246      0.187   -0.189
   Sęklin     -0.224     -0.229   -0.240
  Brzozal     -0.404     -0.631   -0.468
    Wąsoń     -0.124     -0.571   -0.944
  wiek n_osob   nazwa   sila dolna  gorna prawda
 18–29    212  Dębrok  0.407  0.27  0.541  0.505
 18–29    212 Kniejan  0.469  0.33  0.604  0.405
 18–29    212 Borodar -0.019 -0.15  0.112 -0.045
 18–29    212   Wąsoń -0.124 -0.29  0.044 -0.045
 30–44    249  Dębrok  0.536  0.41  0.663  0.535
 30–44    249 Kniejan  0.418  0.29  0.543  0.435
 30–44    249 Borodar  0.231  0.11  0.355  0.285
 30–44    249   Wąsoń -0.571 -0.73 -0.415 -0.615
   45+    139  Dębrok  0.478  0.31  0.648  0.505
   45+    139 Kniejan  0.559  0.39  0.730  0.605
   45+    139 Borodar  0.735  0.56  0.910  0.755
   45+    139   Wąsoń -0.944 -1.17 -0.716 -1.045

6. Plan badania: symulacja liczby osób i par: Rysunek 5

Dane wejściowe: rundy, sila_prawdziwa, przewaga_lewej, sd_osoby z przepisu 1. Losuje – set.seed(7372).

Co odczytać: dla 12 wariantów: odsetek badań z Dębrokiem na pierwszym miejscu, z jedną z dwóch najlepszych nazw na pierwszym miejscu i z trafną trójką; błąd Monte Carlo.

R
# Przepis 6. Plan badania: ilu respondentów i ile par na osobę? Symulacja 250 badań na każdy wariant
# Korzysta z nazwy, K, rundy, sila_prawdziwa, przewaga_lewej, sd_osoby, kol i motyw z przepisu 1. Losuje – własne set.seed(7372).
# Warianty: 5, 15 lub 30 par na osobę (zrównoważone wersje z rund „karuzeli”), 50–400 respondentów
wersje_planu <- function(m) {
  r <- m / 5                                                    # liczba rund po 5 par w jednej wersji
  lapply(0:2, function(v) do.call(rbind, rundy[((v * 3 + 0:(r - 1)) %% 9) + 1]))
}
jedno_badanie <- function(n_osob, m) {
  wer <- if (m == 5) lapply(1:9, function(r) rundy[[r]]) else wersje_planu(m)
  pary <- do.call(rbind, lapply(seq_len(n_osob), function(i) wer[[(i - 1) %% length(wer) + 1]]))
  osoba <- rep(seq_len(n_osob), each = m)
  gust <- matrix(rnorm(n_osob * K, 0, sd_osoby), n_osob, K)     # indywidualne odchylenia gustu
  zamien <- runif(nrow(pary)) < 0.5
  lewa <- ifelse(zamien, pary[, 2], pary[, 1]); prawa <- ifelse(zamien, pary[, 1], pary[, 2])
  eta <- przewaga_lewej + sila_prawdziwa[lewa] + gust[cbind(osoba, lewa)] - sila_prawdziwa[prawa] - gust[cbind(osoba, prawa)]
  y <- rbinom(length(eta), 1, plogis(eta))
  X <- matrix(0, length(y), K); X[cbind(seq_along(y), lewa)] <- 1; X[cbind(seq_along(y), prawa)] <- -1
  f <- glm.fit(cbind(1, X[, -1]), y, family = binomial())
  s <- c(0, f$coefficients[-1])
  c(pierwsza_dobra = which.max(s) == 1, pierwsza_z_dwoch = which.max(s) %in% 1:2,
    top3_dobra = setequal(order(-s)[1:3], 1:3))
}
warianty <- expand.grid(n_osob = c(50, 100, 200, 400), m = c(5, 15, 30))
set.seed(7372)
R <- 250
wyn <- do.call(rbind, lapply(seq_len(nrow(warianty)), function(i) {
  r <- replicate(R, jedno_badanie(warianty$n_osob[i], warianty$m[i]))
  data.frame(warianty[i, ], porownan = warianty$n_osob[i] * warianty$m[i], t(rowMeans(r)))
}))
print(wyn, digits = 3, row.names = FALSE)
cat(sprintf("Błąd Monte Carlo odsetka (1 SE): najwyżej ±%.3f przy R = %d\n", sqrt(0.25 / R), R))

# Rysunek 5: trafność zwycięzcy i trójki najlepszych w zależności od liczby osób i par na osobę
dl <- rbind(data.frame(wyn[, 1:3], miara = "A. Pierwsza: Dębrok albo Kniejan", p = wyn$pierwsza_z_dwoch),
            data.frame(wyn[, 1:3], miara = "B. Trzy najlepsze rozpoznane", p = wyn$top3_dobra))
dl$pary <- factor(paste(dl$m, "par na osobę"), paste(c(5, 15, 30), "par na osobę"))
p5 <- ggplot(dl, aes(n_osob, p, colour = pary, shape = pary)) +
  geom_line(linewidth = 0.9) + geom_point(size = 2.8) +
  facet_wrap(~ miara) +
  scale_colour_manual(values = c(kol[["szary"]], kol[["niebieski"]], kol[["cynober"]]), name = NULL) +
  scale_shape_manual(values = c(15, 16, 17), name = NULL) +
  scale_x_continuous(breaks = c(50, 100, 200, 400), trans = "log2") +
  scale_y_continuous(labels = function(x) paste0(100 * x, "%"), limits = c(0, 1)) +
  labs(title = "Jak często badanie wskazuje właściwe nazwy (250 symulacji na punkt)",
       x = "liczba respondentów (skala logarytmiczna)", y = "odsetek badań") + motyw
p5   # ggsave("wybor-nazwy-plan-badania.svg", p5, width = 10, height = 5.4)
Wynik w R
 n_osob  m porownan pierwsza_dobra pierwsza_z_dwoch top3_dobra
     50  5      250          0.420            0.720      0.288
    100  5      500          0.528            0.836      0.440
    200  5     1000          0.600            0.904      0.628
    400  5     2000          0.708            0.972      0.784
     50 15      750          0.584            0.904      0.468
    100 15     1500          0.644            0.964      0.692
    200 15     3000          0.808            0.984      0.892
    400 15     6000          0.876            1.000      0.952
     50 30     1500          0.628            0.960      0.728
    100 30     3000          0.752            0.988      0.832
    200 30     6000          0.816            1.000      0.964
    400 30    12000          0.944            1.000      0.996
Błąd Monte Carlo odsetka (1 SE): najwyżej ±0.032 przy R = 250

7. Pułapki: rzadkie pary i strona ekranu bez losowania

Dane wejściowe: dane, wersje, macierz_bt(), para_klucz() i parametry z przepisów 1 i 3. Losuje – set.seed(7373).

Co odczytać: bezpośredni odsetek pary z przedziałem Wilsona wobec przewidywania modelu (600 i 45 osób) oraz obciążenie sił przy stałej stronie ekranu – bez efektu strony, z efektem strony i przy stronie losowanej.

R
# Przepis 7. Pułapki: rzadkie pary (bezpośredni odsetek vs model) i strona ekranu bez losowania
# Korzysta z dane, nazwy, K, macierz_bt(), para_klucz(), rundy, wersje, sila_prawdziwa, przewaga_lewej, sd_osoby
# z przepisów 1 i 3. Losuje – własne set.seed(7373).
# (a) Para Dębrok – Kniejan: bezpośredni odsetek z tej jednej pary vs przewidywanie modelu (wszystkie pary)
para_ci <- function(d, i, j) {
  w <- d[para_klucz(d$lewa, d$prawa) == para_klucz(i, j), ]
  x <- sum(ifelse(w$lewa == i, w$wybrana_lewa, 1 - w$wybrana_lewa)); n <- nrow(w)
  pt <- prop.test(x, n, correct = FALSE)$conf.int                    # przedział Wilsona
  b <- coef(glm(d$wybrana_lewa ~ macierz_bt(d), family = binomial)); V <- vcov(glm(d$wybrana_lewa ~ macierz_bt(d), family = binomial))
  a <- numeric(K); a[match(i, nazwy)] <- 1; a[match(j, nazwy)] <- -1
  Vl <- matrix(0, K, K); Vl[-1, -1] <- V[-1, -1]
  r <- sum(a * c(0, b[-1])); s <- sqrt(drop(t(a) %*% Vl %*% a))
  round(c(porownan_pary = n, odsetek = x / n, wilson_dolna = pt[1], wilson_gorna = pt[2],
          model = plogis(r), model_dolna = plogis(r - 1.96 * s), model_gorna = plogis(r + 1.96 * s)), 3)
}
male <- subset(dane, etap == 1 & osoba %in% sprintf("R%03d", 1:45))   # gdyby etap 1 miał tylko 45 osób
rbind(`600 osób: Dębrok – Kniejan` = para_ci(dane, "Dębrok", "Kniejan"),
      `600 osób: Borodar – Wąsoń` = para_ci(dane, "Borodar", "Wąsoń"),
      `45 osób: Dębrok – Kniejan` = para_ci(male, "Dębrok", "Kniejan"),
      `45 osób: Borodar – Wąsoń` = para_ci(male, "Borodar", "Wąsoń"))

# (b) Strona bez losowania: nazwa wcześniej w alfabecie zawsze po lewej. 1000 badań jak etap 1 (450 osób × 15 par)
lista <- c("Borodar", "Brzozal", "Dębrok", "Grzywal", "Jodłar", "Kniejan", "Mchowiec", "Sęklin", "Torfin", "Wąsoń")
poz <- match(nazwy, lista)                                   # miejsce nazwy na liście alfabetycznej
set.seed(7373)
sym_strona <- function() {
  pary <- do.call(rbind, lapply(1:450, function(i) wersje[[(i - 1) %% 3 + 1]]))
  alf <- poz[pary[, 1]] < poz[pary[, 2]]
  lewa <- ifelse(alf, pary[, 1], pary[, 2]); prawa <- ifelse(alf, pary[, 2], pary[, 1])   # strona stała
  los <- runif(length(lewa)) < 0.5                              # dla porównania: ta sama ankieta ze stroną losowaną
  lewa_l <- ifelse(los, lewa, prawa); prawa_l <- ifelse(los, prawa, lewa)
  osoba <- rep(1:450, each = 15); gust <- matrix(rnorm(450 * K, 0, sd_osoby), 450, K)
  dopasuj <- function(l, p, z_wyrazem) {
    y <- rbinom(length(l), 1, plogis(przewaga_lewej + sila_prawdziwa[l] + gust[cbind(osoba, l)] -
                                       sila_prawdziwa[p] - gust[cbind(osoba, p)]))
    X <- matrix(0, length(y), K); X[cbind(seq_along(y), l)] <- 1; X[cbind(seq_along(y), p)] <- -1
    X <- X[, -1]; if (z_wyrazem) X <- cbind(1, X)
    s <- c(0, tail(glm.fit(X, y, family = binomial())$coefficients, K - 1)); s - mean(s)
  }
  cbind(stala_bez_strony = dopasuj(lewa, prawa, FALSE), stala_ze_strona = dopasuj(lewa, prawa, TRUE),
        losowana = dopasuj(lewa_l, prawa_l, TRUE))
}
oszac <- replicate(1000, sym_strona())                         # tablica: nazwa × wariant × badanie
obc <- data.frame(nazwa = nazwy, miejsce_na_liscie = poz, prawda = as.vector(sila_prawdziwa),
                  round(apply(oszac, c(1, 2), mean) - as.vector(sila_prawdziwa), 3))
print(obc, digits = 3, row.names = FALSE)
cat("Odsetek badań, w których Dębrok wygrywa ranking:\n")
round(100 * apply(oszac, 2, function(m) mean(apply(m, 2, which.max) == 1)), 1)
cat("Średni błąd standardowy oszacowania (SD z 1000 badań), uśredniony po nazwach:\n")
round(apply(apply(oszac, c(1, 2), sd), 2, mean), 3)
Wynik w R
                           porownan_pary odsetek wilson_dolna wilson_gorna model model_dolna model_gorna
600 osób: Dębrok – Kniejan           300   0.457        0.401        0.513 0.503       0.473       0.532
600 osób: Borodar – Wąsoń            150   0.620        0.540        0.694 0.676       0.645       0.705
45 osób: Dębrok – Kniejan             15   0.267        0.109        0.520 0.453       0.342       0.569
45 osób: Borodar – Wąsoń              15   0.467        0.248        0.699 0.659       0.548       0.755
    nazwa miejsce_na_liscie prawda stala_bez_strony stala_ze_strona losowana
   Dębrok                 3  0.535            0.039          -0.035   -0.034
  Kniejan                 6  0.435           -0.043          -0.025   -0.028
  Borodar                 1  0.285            0.112          -0.019   -0.019
   Jodłar                 5  0.135            0.001          -0.011   -0.008
   Torfin                 9  0.035           -0.103          -0.004   -0.002
 Mchowiec                 7 -0.015           -0.044          -0.003    0.000
  Grzywal                 4 -0.115            0.051           0.007    0.006
   Sęklin                 8 -0.265           -0.052           0.019    0.018
  Brzozal                 2 -0.415            0.127           0.028    0.027
    Wąsoń                10 -0.615           -0.087           0.042    0.041
Odsetek badań, w których Dębrok wygrywa ranking:
stala_bez_strony  stala_ze_strona         losowana 
            98.5             86.6             88.0 
Średni błąd standardowy oszacowania (SD z 1000 badań), uśredniony po nazwach:
stala_bez_strony  stala_ze_strona         losowana 
           0.052            0.059            0.053 

8. Czy paleta przetrwa zaburzenia widzenia barw?

Dane wejściowe: nic – tylko kody kolorów użytych na rysunkach.

Co odczytać: odległość barw (ΔE) przy typowym widzeniu, deuteranopii i protanopii; para czerwony – zielony jako przykład do unikania.

R
# Przepis 8. Czy paleta przetrwa zaburzenia widzenia barw? Symulacja w pakiecie colorspace
library(colorspace)
pary <- list("niebieski – cynober (rys. 2A, 2B)" = c("#0072B2", "#D55E00"),
             "pomarańczowy – ciemnoszary (rys. 4)" = c("#E69F00", "grey20"),
             "pomarańczowy – niebieski (rys. 4)" = c("#E69F00", "#0072B2"),
             "ciemnoszary – niebieski (rys. 4)" = c("grey20", "#0072B2"),
             "szary – niebieski (rys. 5)" = c("grey55", "#0072B2"),
             "niebieski – cynober (rys. 5)" = c("#0072B2", "#D55E00"),
             "szary – cynober (rys. 5)" = c("grey55", "#D55E00"),
             "jasnoszary – granat: 0% – 100% (rys. 3)" = c("grey97", "#00204D"),
             "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
hex <- function(k) rgb(t(col2rgb(k)), maxColorValue = 255)
roznica <- function(k) {           # odległość barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(hex(k)), "LAB")); sqrt(sum((lab[1, ] - lab[2, ])^2))
}
round(t(sapply(pary, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(hex(k))),
                                   protanopia = roznica(protan(hex(k)))))), 1)
Wynik w R
                                        widzenie_typowe deuteranopia protanopia
niebieski – cynober (rys. 2A, 2B)                 114.6        108.3       91.9
pomarańczowy – ciemnoszary (rys. 4)                91.0         89.7       83.3
pomarańczowy – niebieski (rys. 4)                 120.2        121.5      109.3
ciemnoszary – niebieski (rys. 4)                   48.3         50.3       47.4
szary – niebieski (rys. 5)                         43.2         47.1       39.2
niebieski – cynober (rys. 5)                      114.6        108.3       91.9
szary – cynober (rys. 5)                           76.8         62.6       54.8
jasnoszary – granat: 0% – 100% (rys. 3)            90.2         91.2       87.6
czerwony – zielony (do unikania)                  121.7         21.1       31.6

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3. Model Bradleya–Terry’ego dopasowano funkcjami glm() i glm.fit(), przedział Wilsona – funkcją prop.test(), a losowanie danych i bootstrap – funkcjami sample(), rbinom() i replicate() z pakietów stats i base. Rysunki wykonano w pakiecie ggplot2 (etykiety pakietem ggrepel), panele złożono pakietem patchwork i zapisano pakietem svglite, a paletę sprawdzono pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  4. ggrepel (wersja 0.9.8): Slowikowski, K. (2026). ggrepel: Automatically position non-overlapping text labels with 'ggplot2' [R package]. https://doi.org/10.32614/CRAN.package.ggrepel
  5. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1), 1–49. https://doi.org/10.18637/jss.v096.i01
  6. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An ‘SVG’ graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Rzadkie pary. Bezpośredni odsetek z jednej pary jest szeroki. Przy 45 osobach para Dębrok – Kniejan miała 15 porównań: 26.7%, 95% CI [10.9%, 52.0%] (przedział Wilsona). Model, który korzysta ze wszystkich par, dał .453 [.342, .569]. Przy 600 osobach (300 porównań) odpowiednio 45.7% [40.1%, 51.3%] i .503 [.473, .532]. Model pożycza informację z innych par – o ile przechodniość jest spełniona.
  • Strona ekranu bez losowania. W 1000 symulacjach nazwa wcześniejsza w alfabecie stała zawsze po lewej. Model bez efektu strony zawyżył Borodara (1. na liście) o 0.11 i Brzozala (2.) o 0.13, a zaniżył Torfina (9.) o 0.10. Dębrok (3.) wygrywał ranking w 98.5% badań zamiast w 88.0%, bo stał przed Kniejanem (6.). Efekt strony w modelu usuwa obciążenie, ale strony i tak losuj.
  • Bootstrap pojedynczych porównań. Ignoruje to, że jedna osoba daje 15 powiązanych odpowiedzi (pseudoreplikacja). Losuj całe osoby.
  • Za mało osób. Zaplanuj liczebność symulacją (rysunek 5); remisu dwóch nazw nie usunie żaden model.

Tę samą metodę przy degustacji receptur opisuje wpis test smaku – trójkątny i Bradleya–Terry’ego. Gdy respondent porządkuje kilka opcji naraz, zobacz pytania rankingowe.

Najczęstsze pytania

Jak przeprowadzić badanie nazwy marki metodą porównań parami?

Pokaż respondentowi po dwie nazwy i zapytaj, która bardziej pasuje do marki. Przy 10 nazwach jest 45 par; podziel je na kilka zrównoważonych wersji ankiety (np. 3 wersje po 15 par, każda nazwa 3 razy w wersji) i losuj kolejność par oraz stronę ekranu. Wyniki analizuj modelem Bradleya–Terry’ego, a niepewność rankingu – bootstrapem respondentów.

Jak policzyć model Bradleya–Terry’ego w R bez dodatkowych pakietów?

Zbuduj macierz, w której każda nazwa ma +1, gdy była po lewej, −1, gdy po prawej, i 0, gdy jej nie było; usuń jedną kolumnę jako punkt odniesienia. Potem dopasuj glm(wybrana_lewa ~ X, family = binomial). Wyraz wolny mierzy przewagę lewej strony, a współczynniki – siłę nazw na skali logitu.

Czy wystarczy policzyć odsetek wygranych każdej nazwy?

Tylko w planie, w którym każda nazwa gra z tymi samymi rywalami tak samo często. W przykładzie po dogrywce finalistów nazwa bez dogrywki (Grzywal, 48.6%) wyprzedziła dwóch finalistów (47.7% i 47.5%), choć miała mniejszą siłę w modelu. Model Bradleya–Terry’ego uwzględnia, z kim nazwa grała.

Ilu respondentów potrzeba do testu nazw parami?

Zależy od różnic między nazwami. W symulacji 10 nazw przy 400 osobach i 15 parach na osobę trzy najlepsze nazwy były trafnie rozpoznane w 95.2% badań, przy 100 osobach w 69.2%, a przy 50 osobach i 5 parach w 28.8%. Liczyła się głównie łączna liczba porównań. Dwóch prawie równych nazw nie rozdzieli żaden rozsądny plan.

Jak sprawdzić, czy model Bradleya–Terry’ego pasuje do danych?

Porównaj go testem ilorazu wiarygodności z modelem nasyconym, który ma osobne prawdopodobieństwo dla każdej pary. W przykładzie χ²(36) = 34.62, p = .534, więc siły nazw dobrze opisują wszystkie 45 par. Sprawdź też interakcję z cechami respondentów: tu gusty grup wieku różniły się, χ²(18) = 101.02, p < .001.

Powiązane hasła

Przeczytaj też

Testujesz nazwy, logo lub koncepcje w ankiecie?

Pomożemy zaplanować porównania parami, policzyć model Bradleya–Terry’ego z niepewnością rankingu, sprawdzić różnice między grupami klientów i opisać wyniki tak, żebyś umiał(a) je obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Bradley, R. A., & Terry, M. E. (1952). Rank analysis of incomplete block designs: The method of paired comparisons. Biometrika, 39(3–4), 324–345. https://doi.org/10.1093/biomet/39.3-4.324
  2. Cattelan, M. (2012). Models for paired comparison data: A review with emphasis on dependent data. Statistical Science, 27(3), 412–433. https://doi.org/10.1214/12-sts396 ● Otwarty dostęp: pełny tekst
  3. Field, C. A., & Welsh, A. H. (2007). Bootstrapping clustered data. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 69(3), 369–390. https://doi.org/10.1111/j.1467-9868.2007.00593.x
  4. Hall, P., & Miller, H. (2009). Using the bootstrap to quantify the authority of an empirical ranking. The Annals of Statistics, 37(6B), 3929–3959. https://doi.org/10.1214/09-aos699 ● Otwarty dostęp
  5. Hunter, D. R. (2004). MM algorithms for generalized Bradley-Terry models. The Annals of Statistics, 32(1), 384–406. https://doi.org/10.1214/aos/1079120141 ● Otwarty dostęp
  6. Lowrey, T. M., & Shrum, L. J. (2007). Phonetic symbolism and brand name preference. Journal of Consumer Research, 34(3), 406–414. https://doi.org/10.1086/518530
  7. Turner, H., & Firth, D. (2012). Bradley-Terry models in R: The BradleyTerry2 package. Journal of Statistical Software, 48(9). https://doi.org/10.18637/jss.v048.i09 ● Otwarty dostęp

Cytowania BibTeX

@article{bradley1952rank, author={Bradley, Ralph Allan and Terry, Milton E.}, title={{Rank analysis of incomplete block designs: The method of paired comparisons}}, journal={Biometrika}, year={1952}, volume={39}, number={3–4}, pages={324--345}, doi={10.1093/biomet/39.3-4.324}}
@article{cattelan2012models, author={Cattelan, Manuela}, title={{Models for paired comparison data: A review with emphasis on dependent data}}, journal={Statistical Science}, year={2012}, volume={27}, number={3}, pages={412--433}, doi={10.1214/12-sts396}}
@article{field2007bootstrapping, author={Field, Christopher A. and Welsh, Alan H.}, title={{Bootstrapping clustered data}}, journal={Journal of the Royal Statistical Society: Series B (Statistical Methodology)}, year={2007}, volume={69}, number={3}, pages={369--390}, doi={10.1111/j.1467-9868.2007.00593.x}}
@article{hall2009using, author={Hall, Peter and Miller, Hugh}, title={{Using the bootstrap to quantify the authority of an empirical ranking}}, journal={The Annals of Statistics}, year={2009}, volume={37}, number={6B}, pages={3929--3959}, doi={10.1214/09-aos699}}
@article{hunter2004mm, author={Hunter, David R.}, title={{MM algorithms for generalized Bradley-Terry models}}, journal={The Annals of Statistics}, year={2004}, volume={32}, number={1}, pages={384--406}, doi={10.1214/aos/1079120141}}
@article{lowrey2007phonetic, author={Lowrey, Tina M. and Shrum, L. J.}, title={{Phonetic symbolism and brand name preference}}, journal={Journal of Consumer Research}, year={2007}, volume={34}, number={3}, pages={406--414}, doi={10.1086/518530}}
@article{turner2012bradley, author={Turner, Heather and Firth, David}, title={{Bradley-Terry models in R: The BradleyTerry2 package}}, journal={Journal of Statistical Software}, year={2012}, volume={48}, number={9}, doi={10.18637/jss.v048.i09}}
R