Statystyka · Marketing

Pozycja w wynikach wyszukiwania a klikalność (CTR) – efekt pozycji i błąd selekcji

Fikcyjna platforma z noclegami w agroturystykach i pytanie właściciela: ile da przesunięcie oferty z 6. na 3. miejsce? Krok po kroku: krzywa CTR z logów, błąd selekcji, eksperyment z zamianą sąsiednich pozycji, regresja logistyczna i beta-dwumianowa z efektem oferty oraz prognoza kliknięć i rezerwacji – sześć rysunków z kodem R, podpisy APA i zdania do pracy.

Strona główna / Blog / Pozycja w wynikach a CTR
W skrócie: Krzywa CTR z logów miesza efekt pozycji z tym, że algorytm stawia wyżej lepsze oferty. W przykładzie logi obiecywały, że przesunięcie z 6. na 3. miejsce da 2.24 raza więcej kliknięć na komputerze i 3.15 raza więcej na telefonie, a prawdziwy efekt pozycji to 1.57 i 2.17. Efekt oferty w modelu na logach nie wystarczył (1.91 i 2.70). Eksperyment z losową zamianą sąsiednich pozycji i regresja logistyczna lub beta-dwumianowa trafiły w prawdę (np. 1.55 i 2.06). Kliknięć przybyło, ale rezerwacji – średnio tylko 0.9 miesięcznie.

Przykład: platforma z noclegami w agroturystykach

Fikcyjna platforma zbiera oferty 300 gospodarstw agroturystycznych. Ktoś wpisuje termin, region i liczbę osób, a wyszukiwarka pokazuje listę 10 ofert. Właściciele pytają dział marketingu, ile da im wyższe miejsce na liście. Dział chce też sprzedawać płatne wyróżnienie. Pytanie brzmi: o ile wzrośnie liczba kliknięć, gdy oferta przesunie się z 6. na 3. miejsce?

CTR (ang. click-through rate) to odsetek wyświetleń zakończonych kliknięciem. W logach z 30 dni (150 000 wyszukiwań, 62.1% z telefonu) CTR spada z 21.24% na 1. pozycji do 0.70% na 10. Na komputerze 3. pozycja ma CTR 8.71%, a 6. – 3.88%, czyli 2.24 raza mniej. Na telefonie: 6.91% i 2.19%, czyli 3.15 raza mniej. Kusi odpowiedź: „z 6. na 3. miejsce – ponad dwa razy więcej kliknięć”. Pokażemy, dlaczego to za dużo.

Dane są fikcyjne i wiemy, co w nich ukryliśmy. Parametry ustawiliśmy ręcznie. Każdą ofertę ktoś klika, jeśli ją obejrzy i jeśli mu się spodoba. Szansę obejrzenia wyznacza pozycja: na komputerze 100% na 1. miejscu, 66% na 3. i 42% na 6.; na telefonie 100%, 52% i 24%, bo na ekranie mieści się mniej wyników. To jest prawdziwy efekt pozycji: z 6. na 3. miejsce daje 1.57 raza więcej kliknięć na komputerze i 2.17 raza więcej na telefonie. Atrakcyjność oferty zależy od niej samej (zdjęcia, cena, opinie), od dopasowania do konkretnego wyszukiwania i od dnia. Algorytm układa listę według swojej, niedoskonałej oceny tej atrakcyjności. Po kliknięciu rezerwuje ok. 11% osób, niezależnie od pozycji. Dane zbiorcze (wyświetlenia, kliknięcia i rezerwacje według okresu, urządzenia, oferty, rangi i pozycji) pobierzesz jako agroturystyki-pozycja-klikniecia.csv.

Rysunek 1: krzywa CTR z logów a prawdziwy efekt pozycji

Dwa panele, komputer i telefon. CTR na pozycjach 2–10 względem 1. pozycji. Pomarańczowa linia z logów spada szybko: na komputerze do 62% na 2. pozycji, 41% na 3., 19% na 6. i 5% na 10.; na telefonie do 55%, 32%, 10% i 2%. Niebieska przerywana linia prawdziwego efektu pozycji leży wyżej: na komputerze 80%, 66%, 42% i 27%; na telefonie 72%, 52%, 24% i 11%
Rysunek 1. CTR na pozycjach listy wyników względem 1. pozycji: wartości z 30 dni logów i prawdziwy efekt pozycji znany z symulacji. Obliczenia: R, pakiet ggplot2 (dane symulowane, set.seed(701)).

Co widać. Krzywa z logów spada dużo szybciej niż sam efekt pozycji. Na komputerze 6. pozycja ma w logach 18.5% CTR pierwszej, choć sama pozycja odbiera tylko 58% kliknięć (zostaje 42%). Na telefonie: 10.2% wobec 24%.

Jak może zmylić. Krzywa z logów to dwa zjawiska naraz: efekt pozycji i to, że na górze stoją inne oferty niż na dole. Że kliknięcia zależą od kolejności prezentacji, pokazali Craswell i in. (2008), zaburzając ranking dużej wyszukiwarki. W prawdziwych danych linii przerywanej nie znasz – trzeba ją zmierzyć.

Podpis do pracy:

Rysunek 1. Odsetek kliknięć (CTR) na pozycjach 1–10 listy wyników wyszukiwania względem 1. pozycji, osobno dla komputerów i telefonów. Uwaga. Linia ciągła – 30 dni logów platformy (150 000 wyszukiwań); linia przerywana – prawdziwy efekt pozycji znany z symulacji.

Rysunek 2: skąd bierze się błąd selekcji

Algorytm nie stawia ofert na pozycjach losowo. Wyżej trafiają te, które jego zdaniem lepiej pasują – i często ma rację. To klasyczny błąd selekcji: o tym, co porównujemy na pozycji 3 i 6, decyduje mechanizm związany z wynikiem. Atrakcyjność oferty działa jak zmienna zakłócająca: podnosi i pozycję, i szansę kliknięcia.

Panel A: słupki szansy kliknięcia obejrzanej oferty według pozycji: 21.3% na 1., 13.5% na 3., 8.9% na 6. i 4.1% na 10. pozycji. Panel B: wykresy pudełkowe dopasowania oferty nr 191 do zapytania według pozycji, na której stała; średnia spada od 0.58 na 1. pozycji przez 0.30 na 3. i −0.05 na 6. do −0.56 na 10.
Rysunek 2. Średnia szansa kliknięcia obejrzanej oferty według pozycji (A) oraz dopasowanie jednej oferty do zapytania w wyszukiwaniach, w których stała na danej pozycji (B). Obliczenia: R, pakiety ggplot2 i patchwork (dane symulowane, set.seed(701)).

Co widać. Obejrzana oferta z 1. pozycji jest klikana w 21.3% przypadków, z 3. – w 13.5%, z 6. – w 8.9%. Oferty z 3. miejsca są więc same z siebie 1.52 raza atrakcyjniejsze niż z 6. Stosunek CTR z logów to iloczyn dwóch czynników: na komputerze 1.57 (pozycja) × 1.52 (oferty) ≈ 2.38, a w logach wyszło 2.24 – resztę różnicy robi losowość kliknięć. Panel B pokazuje ofertę nr 191, która w logach stała na 6. miejscu 631 razy: na górze listy lądowała wtedy, gdy lepiej pasowała do zapytania (średnie dopasowanie 0.30 na 3. pozycji, −0.05 na 6.).

Jak może zmylić. Panel B to argument przeciw prostemu „dodam efekt oferty i po kłopocie”. Porównanie tej samej oferty na różnych pozycjach usuwa jej stałą jakość, ale nie dopasowanie do konkretnego wyszukiwania. Szerzej o tym mechanizmie piszemy we wpisie o błędzie selekcji i zmiennej zderzeniowej w praktyce.

Podpis do pracy:

Rysunek 2. Średnia szansa kliknięcia obejrzanej oferty według pozycji na liście wyników (A) oraz dopasowanie jednej oferty do zapytania w wyszukiwaniach, w których stała na pozycjach 1–10 (B). Uwaga. Dane symulowane; atrakcyjność i dopasowanie znane z symulacji, w danych rzeczywistych nieobserwowane.

Rysunek 3: eksperyment z zamianą sąsiednich pozycji

Najpewniejszy sposób to randomizacja: losowo zmienić pozycję tych samych ofert. Losowe tasowanie całej listy byłoby kosztowne dla użytkowników, więc platforma przez 28 dni robiła coś łagodniejszego. W 40% wyszukiwań (55 627 list) losowano jeden z dwóch układów par: 1–2, 3–4, …, 9–10 albo 2–3, 4–5, …, 8–9. Każdą parę zamieniano z prawdopodobieństwem 1/2. Wang i in. (2018) porównali schematy losowego przestawiania wyników (tasowanie czołówki listy i zamianę par) i pokazali, że pogarszają one doświadczenie użytkowników – dlatego robi się je na części ruchu.

Logika jest prosta. Na pozycję k i k + 1 trafiają w tym układzie oferty o tej samej średniej atrakcyjności, bo o kolejności zdecydował rzut monetą. Stosunek CTR(k + 1) / CTR(k) mierzy więc sam efekt pozycji. Pomnożenie kolejnych stosunków daje całą krzywą.

Dwa panele, komputer i telefon. Niebieska linia z punktami i jasnoniebieskim pasmem 95% CI z eksperymentu z zamianą pozycji pokrywa się z czarną przerywaną linią prawdy: na komputerze 6. pozycja 40% [32, 50] wobec prawdziwych 42%, na telefonie 23% [19, 29] wobec 24%. Pomarańczowa linia z logów leży wyraźnie niżej. Pasmo poszerza się ku 10. pozycji
Rysunek 3. CTR na pozycjach 1–10 względem 1. pozycji oszacowany z eksperymentu z losową zamianą sąsiednich pozycji (z 95% przedziałem ufności), prawdziwy efekt pozycji i krzywa z logów. Obliczenia: R, pakiet ggplot2 (dane symulowane, set.seed(701)).

Co widać. Krzywa z eksperymentu leży na linii prawdy. Na komputerze 6. pozycja ma 39.9% CTR pierwszej, 95% CI [32.2, 49.5] (prawda 42%), na telefonie 23.2% [18.8, 28.6] (prawda 24%). Przejście z 6. na 3. pozycję daje na komputerze 1.63 raza więcej kliknięć, 95% CI [1.34, 1.97], a na telefonie 2.13 [1.76, 2.58]. Prawda: 1.57 i 2.17. Logi obiecywały 2.24 i 3.15.

Jak może zmylić. Każdy krok łańcucha dokłada niepewności, więc pasmo rośnie ku dołowi listy. Przedział liczymy metodą delta na skali logarytmu, zakładając niezależność par. Ursu (2018) przeanalizowała eksperyment terenowy z losową zmianą rankingu w dużym serwisie rezerwacji podróży: oszacowany efekt pozycji był mniejszy niż w badaniach bez losowej zmienności rankingu.

Podpis do pracy:

Rysunek 3. Odsetek kliknięć na pozycjach 1–10 względem 1. pozycji oszacowany w eksperymencie z losową zamianą sąsiednich pozycji, z 95% przedziałami ufności. Uwaga. 55 627 list wyników z zamianą par w ciągu 28 dni; stosunki CTR dla kolejnych par pomnożone; linia przerywana – prawdziwy efekt pozycji, linia pomarańczowa – CTR z logów.

Rysunek 4: regresja logistyczna i beta-dwumianowa z efektem oferty

Ten sam efekt da się oszacować regresją. Dane zbiorcze to komórki: oferta × ranga nadana przez algorytm × pozycja pokazana × urządzenie, z liczbą wyświetleń i kliknięć. Porównujemy pięć podejść, osobno dla komputera i telefonu:

  1. logi, surowy stosunek CTR;
  2. logi, regresja logistyczna z pozycją i stałym efektem każdej z 300 ofert (o efektach stałych i losowych piszemy osobno);
  3. eksperyment, regresja logistyczna z pozycją i rangą od algorytmu (ranga ustala, które oferty porównujemy; losowa jest tylko zamiana);
  4. eksperyment, ta sama regresja z rozkładem beta-dwumianowym;
  5. eksperyment, regresja logistyczna z rangą i efektem oferty.

Model beta-dwumianowy przydaje się, gdy kliknięcia w komórce są bardziej zmienne, niż przewiduje rozkład dwumianowy. Tak jest tu: oferty w tej samej komórce różnią się atrakcyjnością, więc pojawia się nadmierna dyspersja. Rozkład beta-dwumianowy zakłada, że prawdopodobieństwo sukcesu zmienia się między seriami prób – tak go opisał Skellam (1948). Współczynniki logitowe przeliczamy na mnożnik CTR typowej oferty: na 6. pozycji ma ona CTR 3.68% (komputer) albo 2.10% (telefon).

Wykres współczynników w dwóch panelach. Komputer: logi surowo 2.24, logi z efektem oferty 1.91, eksperyment logistyczna 1.54, beta-dwumianowa 1.51, logistyczna z efektem oferty 1.55; prawda 1.57. Telefon: 3.15, 2.70, 2.06, 1.98 i 2.06; prawda 2.17. Przedziały z logów są wąskie i nie obejmują prawdy, przedziały z eksperymentu są szersze i ją obejmują
Rysunek 4. Mnożnik CTR typowej oferty po przesunięciu z 6. na 3. pozycję według pięciu metod, z 95% przedziałami ufności. Obliczenia: R, pakiety ggplot2 i glmmTMB (dane symulowane, set.seed(701)).

Co widać. Efekt oferty w logach pomaga tylko częściowo: na komputerze 1.91, 95% CI [1.82, 2.01], na telefonie 2.70 [2.58, 2.84] – wciąż daleko od prawdy (1.57 i 2.17). Wszystkie trzy modele z eksperymentu obejmują prawdę: regresja logistyczna daje 1.54 [1.34, 1.77] i 2.06 [1.79, 2.35], beta-dwumianowa 1.51 [1.30, 1.75] i 1.98 [1.71, 2.30], logistyczna z efektem oferty 1.55 [1.35, 1.78] i 2.06 [1.80, 2.36]. W modelu logistycznym statystyka Pearsona χ²/df wynosi 1.57 (komputer) i 1.72 (telefon), a model beta-dwumianowy ma niższe AIC (27 742.3 wobec 29 216.8 na komputerze).

Jak może zmylić. Wąski przedział z logów nie oznacza dobrego oszacowania – jest precyzyjny, ale obciążony. Beta-dwumianowa poszerzyła przedział tylko trochę, bo pozycję losowano wśród ofert o tej samej randze. Podobny wniosek dla reklam w wyszukiwarce przedstawili Narayanan i Kalyanam (2015): naiwne porównania pozycji wskazywały bardzo duże efekty, a oszacowania z regresji nieciągłej – znacznie mniejsze.

Podpis do pracy:

Rysunek 4. Mnożnik odsetka kliknięć typowej oferty po przesunięciu z 6. na 3. pozycję listy wyników według metody szacowania, z 95% przedziałami ufności. Uwaga. Logi – 30 dni bez losowania pozycji; eksperyment – 28 dni z losową zamianą sąsiednich pozycji w 40% wyszukiwań; linia przerywana – prawdziwy efekt pozycji znany z symulacji.

Zdanie do Wyników:

W eksperymencie z losową zamianą sąsiednich pozycji przesunięcie oferty z 6. na 3. pozycję zwiększało odsetek kliknięć 1.55 raza na komputerach (95% CI [1.35, 1.78]) i 2.06 raza na telefonach (95% CI [1.80, 2.36]); oszacowania z logów bez losowania były wyraźnie wyższe (2.24 i 3.15).

Rysunek 5: z 6. na 3. miejsce – kliknięcia i rezerwacje

Właściciel oferty nr 191 pyta o konkretną liczbę. W 30 dniach jego oferta stała na 6. miejscu 631 razy (236 na komputerze, 395 na telefonie). Prognozę liczymy z modelu 5: ta sama oferta, ta sama ranga od algorytmu, pozycja 3 zamiast 6. Niepewność współczynników losujemy z ich rozkładu (10 000 losowań), a do tego dokładamy losowość przyszłych kliknięć i rezerwacji. Tak powstaje przedział predykcji, a nie tylko przedział dla średniej.

Panel A, kliknięcia w miesiącu: dziś na 6. miejscu 15.3 [8, 24]; na 3. miejscu prognoza naiwna 40.8, prognoza z eksperymentu 27.5 [17, 39]; prawda 14.9 i 27.8. Panel B, rezerwacje: dziś 1.1 [0, 4]; prognoza naiwna 3.0; z eksperymentu 2.0 [0, 5]; prawda 1.0 i 2.0
Rysunek 5. Prognoza liczby kliknięć (A) i rezerwacji (B) oferty nr 191 w miesiącu na 6. miejscu i po przesunięciu na 3. miejsce: prognoza naiwna z logów i prognoza z eksperymentu z 95% przedziałem predykcji. Obliczenia: R, pakiety ggplot2, patchwork i MASS (dane symulowane, set.seed(7015)).

Co widać. Dziś oferta ma średnio 15.3 kliknięcia miesięcznie (95% przedział predykcji [8, 24]). Po przesunięciu na 3. miejsce – 27.5 [17, 39]; prawda to 27.8. Prognoza naiwna z mnożników z logów obiecuje 40.8. Przyrost to średnio 12.3 kliknięcia [0, 26]. Rezerwacji jest mało: oferta zamienia na rezerwację 7.4% kliknięć (29 z 393), więc przyrost to średnio 0.9 rezerwacji miesięcznie, 95% przedział predykcji [−2, 5]. W 42.7% losowań miesiąc z wyróżnieniem nie dał żadnej dodatkowej rezerwacji.

Jak może zmylić. W grupie z zamianą pozycji na 100 kliknięć przypadało od 10.6 do 12.5 rezerwacji, bez różnic między pozycjami (χ²(9) = 7.86, p = .548). Pozycja zmienia więc to, co ludzie oglądają, a nie to, czy kupią po obejrzeniu – zgodnie z wynikami Ursu (2018). Przy kilku rezerwacjach miesięcznie przypadek łatwo zasłoni efekt. Jak liczyć odsetki na kolejnych etapach ścieżki klienta, pokazuje wpis o lejku konwersji.

Podpis do pracy:

Rysunek 5. Prognozowana liczba kliknięć (A) i rezerwacji (B) jednej oferty w ciągu 30 dni na 6. pozycji i po przesunięciu na 3. pozycję listy wyników. Uwaga. Punkty – średnia z 10 000 symulacji; poziome odcinki – 95% przedziały predykcji; krzyżyki – wartości prawdziwe znane z symulacji; prognoza naiwna – mnożnik CTR z logów bez losowania pozycji.

Rysunek 6: lista wyników z odsetkami

Schemat listy 10 wyników. Przy każdej pozycji dwa paski względem 1. pozycji: pomarańczowy z logów i niebieski z samego efektu pozycji. Pozycja 2: 58% i 72%; 3: 36% i 55%; 6: 13% i 30%; 10: 3% i 16%. Strzałka z 6. na 3. pozycję i ramka: logi obiecują ×2.24 na komputerze i ×3.15 na telefonie, eksperyment daje ×1.55 i ×2.06
Rysunek 6. Schemat listy wyników: CTR z logów i sam efekt pozycji z eksperymentu względem 1. pozycji. Obliczenia: R, pakiet ggplot2 (dane symulowane, set.seed(701)).

Co widać. Według logów oferta na 3. miejscu zbiera 36% kliknięć pierwszej, a na 6. – 13%. Sama pozycja odpowiada za 55% i 30% (średnia ważona: 62% telefon, 38% komputer). Pozostała różnica to oferty, nie miejsce.

Jak może zmylić. Średnia ukrywa różnicę między urządzeniami. Gdy przybywa telefonów, niższe pozycje tracą jeszcze więcej – licz osobno.

Podpis do pracy:

Rysunek 6. Odsetek kliknięć na pozycjach 1–10 listy wyników względem 1. pozycji: wartości z logów (pomarańczowe paski) i efekt samej pozycji oszacowany w eksperymencie z zamianą sąsiednich pozycji (niebieskie paski). Uwaga. Efekt pozycji uśredniony z wagami 62% telefony i 38% komputery.

Co z tym zrobić w marketingu

  • Nie wyceniaj pozycji z surowej krzywej CTR. W przykładzie logi zawyżały zysk z przejścia z 6. na 3. miejsce o ponad 40% (2.24 zamiast 1.57 na komputerze).
  • Zmierz efekt pozycji eksperymentem. Zamiana sąsiednich pozycji na części ruchu wystarczy; to test A/B, w którym losujesz kolejność, a nie wersję strony. Ogranicz go w czasie i w zasięgu, bo pogarsza wyniki wyszukiwania (Wang i in., 2018).
  • Licz osobno dla telefonu i komputera. Na telefonie pozycja waży więcej (2.06 wobec 1.55).
  • Sprzedawaj wyróżnienie z przedziałem, nie z obietnicą. „Średnio 27 kliknięć zamiast 15, zwykle 17–39” jest uczciwsze niż „2.7 raza więcej”.
  • Oceniaj rezerwacje, nie tylko kliknięcia – w sumie wielu ofert albo kilku miesięcy.
  • Nie ucz rankingu na surowych kliknięciach. Kliknięcia trzeba ważyć odwrotnością szansy obejrzenia (Joachims i in., 2017) – to te same wagi IPW, które znasz z badań obserwacyjnych. Porównanie całych algorytmów rankingu opisuje wpis o wyszukiwarce w sklepie: NDCG i przeplataniu.

Jak opisać w pracy

Opisz, skąd pochodzą dane (logi czy eksperyment), jednostkę losowania (lista wyników), schemat zamiany, model i sposób przeliczenia współczynników na mnożnik CTR. W pracy dyplomowej nazwij wprost ograniczenie danych bez losowania. Więcej o analizach w pracach z marketingu: statystyka w pracy z marketingu.

Metoda. Efekt pozycji na liście wyników wyszukiwania oszacowano w eksperymencie trwającym 28 dni. W 40% wyszukiwań losowo wybierano jeden z dwóch układów par sąsiednich pozycji (1–2, 3–4, …, 9–10 albo 2–3, 4–5, …, 8–9), a każdą parę zamieniano z prawdopodobieństwem 0.5. Dane zagregowano do komórek oferta × ranga nadana przez algorytm × pozycja pokazana, osobno dla komputerów i telefonów. Liczbę kliknięć modelowano regresją logistyczną z pozycją, rangą i stałym efektem oferty; w analizie wrażliwości zastosowano regresję beta-dwumianową. Współczynniki przeliczono na mnożnik odsetka kliknięć typowej oferty na 6. pozycji. Obliczenia wykonano w R 4.5.3 (pakiet glmmTMB).
Przykład reprodukowalny

Kod R wszystkich rysunków

Kod odtwarza wszystkie liczby z tekstu i sześć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy paletę, motyw, parametry i dane używane dalej. Przepisy 1–6 kończą się nazwą wykresu (p1–p6), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów p1–p6, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne. Przepisy 1 i 4 liczą się po ok. 10 sekund, pozostałe – w sekundę.

Losują dwa przepisy i każdy zaczyna od własnego set.seed(): 701 w przepisie 1 i 7015 w przepisie 5; pozostałe nie losują. Ziarna ustalono raz i nie zmieniano ich. Ręcznie ustalono (przepis 1): 300 ofert, 10 wyników na liście, 30 dni logów i 28 dni eksperymentu, 62% wyszukiwań z telefonu, prawdziwy efekt pozycji (szansę obejrzenia wyniku na pozycjach 1–10, osobno dla komputera i telefonu), rozrzut atrakcyjności ofert (odchylenie standardowe 0.6 na skali logitu), dopasowania do zapytania (0.6) i dnia (0.25), szum oceny algorytmu (0.8), wyraz wolny −2.4 oraz skłonność do rezerwacji po kliknięciu (ok. 11%, niezależnie od pozycji); w przepisie 5 – 10 000 losowań. Zmiany po pierwszym uruchomieniu: zwiększono liczbę wyszukiwań z 3000 do 5000 dziennie i udział wyszukiwań z zamianą pozycji z 25% do 40%, bo przedziały z eksperymentu były zbyt szerokie, by cokolwiek rozstrzygnąć (mnożnik 3. / 6. na komputerze 2.01, 95% CI [1.45, 2.78]); w rysunku 2B zamiast wykresu średniej pozycji ofert (prawie idealna zależność od atrakcyjności, nic nie wyjaśniała) pokazano dopasowanie jednej oferty do zapytań; prognozę naiwną liczono od oczekiwanej, a nie zaobserwowanej liczby kliknięć na 6. miejscu, żeby obie prognozy miały tę samą podstawę; poprawiono też podpisy i etykiety na rysunkach 2, 4 i 5.

1. Dane: logi i eksperyment – Rysunek 1

Dane wejściowe: nic – przepis losuje 300 ofert, 150 000 wyszukiwań z logów i 140 000 z okresu eksperymentu (parametry w kodzie); plik CSV trafia do katalogu roboczego. Na początku paleta Okabe–Ito kol, motyw motyw i parametry używane dalej.

Co odczytać: CTR według pozycji i urządzenia, stosunek CTR 3. / 6. pozycji z logów i prawdziwy efekt pozycji.

R
# Rysunek 1. Fikcyjna platforma z noclegami w agroturystykach: logi wyników wyszukiwania
# i eksperyment z zamianą sąsiednich pozycji (dane symulowane)
library(ggplot2)
options(width = 120)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw
kol <- c(niebieski = "#0072B2", pomaranczowy = "#D55E00", blekit = "#56B4E9", zielony = "#009E73",
         zolty = "#E69F00", rozowy = "#CC79A7", szary = "#999999", granat = "#0f1d3a")
motyw <- theme_minimal(base_size = 14) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        strip.text = element_text(face = "bold", colour = "#0f1d3a"), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))

# Parametry ustawione ręcznie
J <- 300                          # oferty agroturystyk
wysz_dzien <- 5000                # wyszukiwań dziennie, po 10 wyników na liście
dni_logi <- 30                    # okres 1: zwykłe logi
dni_eks <- 28                     # okres 2: eksperyment
udzial_eks <- 0.40                # odsetek wyszukiwań w grupie z zamianą pozycji
p_telefon <- 0.62                 # odsetek wyszukiwań z telefonu
# Prawdziwy efekt pozycji: szansa, że użytkownik w ogóle obejrzy wynik na pozycji 1–10
theta <- rbind(komputer = c(1, .80, .66, .56, .48, .42, .37, .33, .30, .27),
               telefon  = c(1, .72, .52, .39, .30, .24, .19, .16, .13, .11))

set.seed(701)
oferta_u <- rnorm(J, 0, 0.6)                          # stała atrakcyjność oferty (zdjęcia, cena, opinie)
oferta_v <- 0.2 * oferta_u + rnorm(J, 0, 0.45)        # skłonność do rezerwacji po kliknięciu

symuluj_okres <- function(dni, eksperyment) {
  S <- dni * wysz_dzien
  d <- data.frame(sesja = rep(1:S, each = 10), dzien = rep(rep(1:dni, each = wysz_dzien), each = 10))
  d$oferta <- as.vector(replicate(S, sample.int(J, 10)))          # 10 ofert pasujących do zapytania
  d$urzadzenie <- rep(ifelse(runif(S) < p_telefon, "telefon", "komputer"), each = 10)
  w <- matrix(rnorm(J * dni, 0, 0.25), J, dni)                    # dzień: wolne terminy, zmiana ceny
  d$m <- rnorm(nrow(d), 0, 0.6)                                   # dopasowanie do tego wyszukiwania
  d$gamma <- plogis(-2.4 + oferta_u[d$oferta] + d$m + w[cbind(d$oferta, d$dzien)])
  wynik <- oferta_u[d$oferta] + d$m + rnorm(nrow(d), 0, 0.8)      # ocena algorytmu (niedoskonała)
  d$ranga <- ave(-wynik, d$sesja, FUN = rank)                     # kolejność ustalona przez algorytm
  d$pozycja <- d$ranga
  d$grupa <- "zwykla"
  if (eksperyment) {
    eks <- runif(S) < udzial_eks
    uklad <- ifelse(runif(S) < 0.5, "A", "B")    # A: pary 1–2, 3–4, …, 9–10; B: pary 2–3, 4–5, …, 8–9
    zamiana <- matrix(runif(S * 5) < 0.5, S, 5)  # każda para zamieniana z prawdop. 1/2
    s <- d$sesja
    para <- ifelse(uklad[s] == "A", (d$ranga + 1) %/% 2, d$ranga %/% 2)
    gora <- ifelse(uklad[s] == "A", d$ranga %% 2 == 1, d$ranga %% 2 == 0)
    ok <- eks[s] & para >= 1 & para <= ifelse(uklad[s] == "A", 5, 4)
    zam <- ok & zamiana[cbind(s, pmax(para, 1))]
    d$pozycja[zam] <- d$ranga[zam] + ifelse(gora[zam], 1, -1)
    d$grupa[eks[s]] <- ifelse(uklad[s][eks[s]] == "A", "eks_A", "eks_B")
  }
  th <- ifelse(d$urzadzenie == "telefon", theta["telefon", ][d$pozycja], theta["komputer", ][d$pozycja])
  d$klik <- rbinom(nrow(d), 1, th * d$gamma)
  d$rezerwacja <- d$klik * rbinom(nrow(d), 1, plogis(-2.2 + oferta_v[d$oferta]))
  d$klik_oczek <- th * d$gamma                                   # prawda znana tylko w symulacji
  d
}
logi <- symuluj_okres(dni_logi, eksperyment = FALSE)
eks  <- symuluj_okres(dni_eks, eksperyment = TRUE)

# Dane zagregowane do analizy i do pliku CSV: wyświetlenia, kliknięcia i rezerwacje
agreguj <- function(d, okres) {
  a <- aggregate(cbind(wyswietlenia = 1, klikniecia = klik, rezerwacje = rezerwacja) ~
                   urzadzenie + oferta + ranga + pozycja, data = d, FUN = sum)
  cbind(okres = okres, a)
}
dane <- rbind(agreguj(logi, "logi"), agreguj(eks, "eksperyment"))
write.csv(dane, "agroturystyki-pozycja-klikniecia.csv", row.names = FALSE)

cat("Wyszukiwań: logi", max(logi$sesja), "| eksperyment", max(eks$sesja),
    "(w grupie z zamianą par:", sum(eks$grupa[eks$ranga == 1] != "zwykla"), ")\n")
cat("Wierszy w CSV:", nrow(dane), "| wyświetleń:", sum(dane$wyswietlenia), "| kliknięć:", sum(dane$klikniecia),
    "| rezerwacji:", sum(dane$rezerwacje), "\n")
cat("Odsetek wyszukiwań z telefonu w logach:", round(100 * mean(logi$urzadzenie[logi$ranga == 1] == "telefon"), 1), "%\n")

# CTR według pozycji w logach (naiwnie) i prawdziwy efekt pozycji (z parametrów theta)
ctr <- aggregate(cbind(wysw = 1, klik = klik) ~ urzadzenie + pozycja, data = logi, FUN = sum)
ctr$ctr <- ctr$klik / ctr$wysw
ctr$wzgl_naiwny <- ctr$ctr / ctr$ctr[ctr$pozycja == 1][match(ctr$urzadzenie, ctr$urzadzenie[ctr$pozycja == 1])]
ctr$wzgl_prawdziwy <- theta[cbind(match(ctr$urzadzenie, rownames(theta)), ctr$pozycja)]
print(data.frame(ctr[c("urzadzenie", "pozycja")], CTR_proc = round(100 * ctr$ctr, 2),
                 wzgl_naiwny = round(ctr$wzgl_naiwny, 3), wzgl_prawdziwy = ctr$wzgl_prawdziwy), row.names = FALSE)
for (u in c("komputer", "telefon")) {
  x <- ctr[ctr$urzadzenie == u, ]
  cat(u, ": CTR 3. / 6. pozycji – w logach", round(x$ctr[3] / x$ctr[6], 2), "| prawdziwy efekt pozycji",
      round(theta[u, 3] / theta[u, 6], 2), "\n")
}
cat("Wszystkie urządzenia: CTR 1. pozycji", round(100 * sum(ctr$klik[ctr$pozycja == 1]) / sum(ctr$wysw[ctr$pozycja == 1]), 2),
    "% | 10. pozycji", round(100 * sum(ctr$klik[ctr$pozycja == 10]) / sum(ctr$wysw[ctr$pozycja == 10]), 2), "%\n")

ctr$panel <- factor(ifelse(ctr$urzadzenie == "telefon", "Telefon", "Komputer"), c("Komputer", "Telefon"))
dl <- rbind(data.frame(ctr[c("panel", "pozycja")], wart = ctr$wzgl_naiwny, co = "z logów (naiwnie)"),
            data.frame(ctr[c("panel", "pozycja")], wart = ctr$wzgl_prawdziwy, co = "prawdziwy efekt pozycji"))
p1 <- ggplot(dl, aes(pozycja, 100 * wart, colour = co, shape = co, linetype = co)) +
  geom_line(linewidth = 0.9) + geom_point(size = 2.6) +
  facet_wrap(~ panel) +
  scale_x_continuous(breaks = 1:10) +
  scale_colour_manual(values = c("z logów (naiwnie)" = kol[["pomaranczowy"]], "prawdziwy efekt pozycji" = kol[["niebieski"]]),
                      name = NULL) +
  scale_shape_manual(values = c("z logów (naiwnie)" = 16, "prawdziwy efekt pozycji" = 17), name = NULL) +
  scale_linetype_manual(values = c("z logów (naiwnie)" = "solid", "prawdziwy efekt pozycji" = "22"), name = NULL) +
  labs(title = "Krzywa CTR z logów spada szybciej niż sam efekt pozycji",
       subtitle = "CTR na pozycji względem 1. pozycji (1. pozycja = 100%)",
       x = "Pozycja na liście wyników", y = "CTR względem 1. pozycji (%)") +
  motyw
p1                       # do pliku: ggsave("pozycja-ctr-krzywa-z-logow.svg", p1, width = 10, height = 5)
Wynik w R
Wyszukiwań: logi 150000 | eksperyment 140000 (w grupie z zamianą par: 55627 )
Wierszy w CSV: 22761 | wyświetleń: 2900000 | kliknięć: 168376 | rezerwacji: 19019 
Odsetek wyszukiwań z telefonu w logach: 62.1 %
 urzadzenie pozycja CTR_proc wzgl_naiwny wzgl_prawdziwy
   komputer       1    21.02       1.000           1.00
    telefon       1    21.37       1.000           1.00
   komputer       2    13.06       0.621           0.80
    telefon       2    11.76       0.550           0.72
   komputer       3     8.71       0.414           0.66
    telefon       3     6.91       0.323           0.52
   komputer       4     6.56       0.312           0.56
    telefon       4     4.65       0.218           0.39
   komputer       5     4.86       0.231           0.48
    telefon       5     3.03       0.142           0.30
   komputer       6     3.88       0.185           0.42
    telefon       6     2.19       0.102           0.24
   komputer       7     2.75       0.131           0.37
    telefon       7     1.43       0.067           0.19
   komputer       8     2.11       0.100           0.33
    telefon       8     1.08       0.051           0.16
   komputer       9     1.63       0.078           0.30
    telefon       9     0.73       0.034           0.13
   komputer      10     1.10       0.052           0.27
    telefon      10     0.46       0.021           0.11
komputer : CTR 3. / 6. pozycji – w logach 2.24 | prawdziwy efekt pozycji 1.57 
telefon : CTR 3. / 6. pozycji – w logach 3.15 | prawdziwy efekt pozycji 2.17 
Wszystkie urządzenia: CTR 1. pozycji 21.24 % | 10. pozycji 0.7 %

2. Skąd błąd selekcji – Rysunek 2

Dane wejściowe: obiekty logi, theta i oferta_u z przepisu 1 (bez nowego losowania).

Co odczytać: średnią atrakcyjność ofert na pozycjach, rozkład stosunku CTR na efekt pozycji i różnicę ofert, numer oferty z 6. miejsca i jej dopasowanie do zapytań.

R
# Rysunek 2. Skąd błąd selekcji: algorytm stawia wyżej oferty, które i tak częściej klikamy
# (korzysta z kol, motyw, theta, logi i oferta_u z przepisu 1; nic nie losuje)
library(ggplot2)
library(patchwork)

# A: średnia prawdziwa atrakcyjność (szansa kliknięcia, gdy wynik zostanie obejrzany) na każdej pozycji
atr <- aggregate(gamma ~ pozycja, data = logi, FUN = mean)
cat("Średnia atrakcyjność oferty (szansa kliknięcia po obejrzeniu), %:\n")
print(data.frame(pozycja = atr$pozycja, atrakcyjnosc_proc = round(100 * atr$gamma, 1)), row.names = FALSE)
cat("Stosunek atrakcyjności 3. / 6. pozycji:", round(atr$gamma[3] / atr$gamma[6], 2), "\n")

# Rozkład CTR z logów: CTR = szansa obejrzenia (efekt pozycji) × atrakcyjność ofert na tej pozycji
# (logi różnią się od iloczynu tylko losowością kliknięć)
for (u in c("komputer", "telefon")) {
  x <- logi[logi$urzadzenie == u, ]
  c3 <- mean(x$klik[x$pozycja == 3]); c6 <- mean(x$klik[x$pozycja == 6])
  a3 <- mean(x$gamma[x$pozycja == 3]); a6 <- mean(x$gamma[x$pozycja == 6])
  cat(u, ": CTR 3./6. w logach =", round(c3 / c6, 2), "| oczekiwany = efekt pozycji", round(theta[u, 3] / theta[u, 6], 2),
      "× różnica ofert", round(a3 / a6, 2), "=", round(theta[u, 3] / theta[u, 6] * a3 / a6, 2), "\n")
}

# B: jedna oferta (ta, która w logach najczęściej stała na 6. miejscu) – w różnych wyszukiwaniach trafia
# na różne pozycje, a wyżej wtedy, gdy lepiej pasuje do zapytania (m). Sam efekt oferty tego nie usuwa.
nr6 <- as.integer(names(which.max(table(logi$oferta[logi$pozycja == 6]))))
x6 <- logi[logi$oferta == nr6, ]
cat("Oferta nr", nr6, ": wyświetleń w logach", nrow(x6), "| na 6. pozycji", sum(x6$pozycja == 6),
    "| średnia pozycja", round(mean(x6$pozycja), 1), "\n")
dop <- aggregate(m ~ pozycja, data = x6, FUN = mean)
cat("Średnie dopasowanie do zapytania (m) tej oferty według pozycji:\n")
print(data.frame(pozycja = dop$pozycja, m = round(dop$m, 2)), row.names = FALSE)

pA <- ggplot(atr, aes(pozycja, 100 * gamma)) +
  geom_col(fill = kol[["blekit"]], width = 0.7) +
  geom_text(aes(label = sprintf("%.1f", 100 * gamma)), vjust = -0.4, size = 3.6, colour = "#0f1d3a") +
  scale_x_continuous(breaks = 1:10) +
  scale_y_continuous(expand = expansion(mult = c(0, 0.12))) +
  labs(title = "A. Wyżej stoją lepsze oferty",
       subtitle = "Szansa kliknięcia oferty, gdy ktoś ją obejrzy (%)", x = "Pozycja", y = NULL) +
  motyw
x6$poz_f <- factor(x6$pozycja)
pB <- ggplot(x6, aes(poz_f, m)) +
  geom_hline(yintercept = 0, colour = "grey60") +
  geom_boxplot(fill = kol[["zolty"]], alpha = 0.35, colour = "grey30", outlier.shape = NA, width = 0.6) +
  stat_summary(fun = mean, geom = "point", shape = 18, size = 3.2, colour = kol[["pomaranczowy"]]) +
  coord_cartesian(ylim = c(-1.6, 1.8)) +
  labs(title = sprintf("B. Ta sama oferta (nr %d)", nr6),
       subtitle = "Jak pasowała do zapytania, gdy stała na pozycji",
       x = "Pozycja", y = "Dopasowanie do zapytania (logit)") +
  motyw
p2 <- pA + pB
p2                       # do pliku: ggsave("pozycja-ctr-blad-selekcji.svg", p2, width = 10, height = 5)
Wynik w R
Średnia atrakcyjność oferty (szansa kliknięcia po obejrzeniu), %:
 pozycja atrakcyjnosc_proc
       1              21.3
       2              16.2
       3              13.5
       4              11.7
       5              10.1
       6               8.9
       7               7.7
       8               6.6
       9               5.4
      10               4.1
Stosunek atrakcyjności 3. / 6. pozycji: 1.52 
komputer : CTR 3./6. w logach = 2.24 | oczekiwany = efekt pozycji 1.57 × różnica ofert 1.52 = 2.38 
telefon : CTR 3./6. w logach = 3.15 | oczekiwany = efekt pozycji 2.17 × różnica ofert 1.52 = 3.3 
Oferta nr 191 : wyświetleń w logach 4991 | na 6. pozycji 631 | średnia pozycja 5.6 
Średnie dopasowanie do zapytania (m) tej oferty według pozycji:
 pozycja     m
       1  0.58
       2  0.40
       3  0.30
       4  0.16
       5  0.07
       6 -0.05
       7 -0.10
       8 -0.23
       9 -0.39
      10 -0.56

3. Eksperyment z zamianą sąsiednich pozycji – Rysunek 3

Dane wejściowe: obiekty eks, theta i ctr z przepisu 1 (bez nowego losowania).

Co odczytać: stosunki CTR(k + 1) / CTR(k) w parach, krzywą względem 1. pozycji z 95% CI i mnożnik „3. zamiast 6.”.

R
# Rysunek 3. Eksperyment z zamianą sąsiednich pozycji: czysty efekt pozycji
# (korzysta z kol, motyw, theta, eks i ctr z przepisu 1; nic nie losuje)
library(ggplot2)

# W grupie eksperymentalnej każda para sąsiednich wyników (układ A: 1–2, 3–4, …; układ B: 2–3, 4–5, …)
# była zamieniana z prawdopodobieństwem 1/2. Na pozycję k i k + 1 trafiają więc oferty o tej samej
# średniej atrakcyjności, a stosunek CTR(k + 1) / CTR(k) mierzy sam efekt pozycji.
pary <- do.call(rbind, lapply(c("komputer", "telefon"), function(u) {
  do.call(rbind, lapply(1:9, function(k) {
    uklad <- if (k %% 2 == 1) "eks_A" else "eks_B"            # w którym układzie para (k, k + 1) jest parą
    x <- eks[eks$urzadzenie == u & eks$grupa == uklad & eks$ranga %in% c(k, k + 1), ]
    gora <- x[x$pozycja == k, ]; dol <- x[x$pozycja == k + 1, ]
    data.frame(urzadzenie = u, k = k, wysw_gora = nrow(gora), klik_gora = sum(gora$klik),
               wysw_dol = nrow(dol), klik_dol = sum(dol$klik),
               log_R = log(mean(dol$klik) / mean(gora$klik)),
               var_log_R = 1 / sum(dol$klik) - 1 / nrow(dol) + 1 / sum(gora$klik) - 1 / nrow(gora))
  }))
}))
cat("Stosunek CTR(k + 1) / CTR(k) w parach zamienianych losowo:\n")
print(data.frame(pary[c("urzadzenie", "k")], klik_k = pary$klik_gora, klik_k1 = pary$klik_dol,
                 R = round(exp(pary$log_R), 3), prawda = round(theta[cbind(match(pary$urzadzenie, rownames(theta)), pary$k + 1)] /
                                                              theta[cbind(match(pary$urzadzenie, rownames(theta)), pary$k)], 3)),
      row.names = FALSE)

# Łańcuch: CTR na pozycji p względem 1. = iloczyn kolejnych stosunków; wariancje logarytmów się sumują
krzywa <- do.call(rbind, lapply(split(pary, pary$urzadzenie), function(d) {
  data.frame(urzadzenie = d$urzadzenie[1], pozycja = 1:10, log_w = c(0, cumsum(d$log_R)), se = sqrt(c(0, cumsum(d$var_log_R))))
}))
krzywa$wzgl <- exp(krzywa$log_w)
krzywa$dolna <- exp(krzywa$log_w - 1.96 * krzywa$se)
krzywa$gorna <- exp(krzywa$log_w + 1.96 * krzywa$se)
krzywa$prawda <- theta[cbind(match(krzywa$urzadzenie, rownames(theta)), krzywa$pozycja)]
krzywa$naiwnie <- ctr$wzgl_naiwny[match(paste(krzywa$urzadzenie, krzywa$pozycja), paste(ctr$urzadzenie, ctr$pozycja))]
print(data.frame(krzywa[c("urzadzenie", "pozycja")], ekspery = round(krzywa$wzgl, 3), dolna = round(krzywa$dolna, 3),
                 gorna = round(krzywa$gorna, 3), prawda = krzywa$prawda, naiwnie = round(krzywa$naiwnie, 3)), row.names = FALSE)
for (u in c("komputer", "telefon")) {
  d <- pary[pary$urzadzenie == u & pary$k %in% 3:5, ]                 # z 3. na 6. to trzy kroki: 3→4, 4→5, 5→6
  m <- exp(-sum(d$log_R)); s <- sqrt(sum(d$var_log_R))
  cat(u, ": 3. zamiast 6. pozycji – eksperyment", round(m, 2), "[", round(m * exp(-1.96 * s), 2), ",",
      round(m * exp(1.96 * s), 2), "] | prawda", round(theta[u, 3] / theta[u, 6], 2), "\n")
}

krzywa$panel <- factor(ifelse(krzywa$urzadzenie == "telefon", "Telefon", "Komputer"), c("Komputer", "Telefon"))
p3 <- ggplot(krzywa, aes(pozycja)) +
  geom_ribbon(aes(ymin = 100 * dolna, ymax = 100 * gorna), fill = kol[["niebieski"]], alpha = 0.15) +
  geom_line(aes(y = 100 * naiwnie, colour = "z logów (naiwnie)", linetype = "z logów (naiwnie)"), linewidth = 0.8) +
  geom_line(aes(y = 100 * prawda, colour = "prawda (symulacja)", linetype = "prawda (symulacja)"), linewidth = 0.8) +
  geom_line(aes(y = 100 * wzgl, colour = "eksperyment z zamianą", linetype = "eksperyment z zamianą"), linewidth = 1) +
  geom_point(aes(y = 100 * wzgl, colour = "eksperyment z zamianą"), size = 2.4) +
  facet_wrap(~ panel) +
  scale_x_continuous(breaks = 1:10) +
  scale_colour_manual(values = c("eksperyment z zamianą" = kol[["niebieski"]], "prawda (symulacja)" = "grey20",
                                 "z logów (naiwnie)" = kol[["pomaranczowy"]]), name = NULL) +
  scale_linetype_manual(values = c("eksperyment z zamianą" = "solid", "prawda (symulacja)" = "22",
                                   "z logów (naiwnie)" = "solid"), name = NULL) +
  labs(title = "Eksperyment z zamianą sąsiednich pozycji odtwarza efekt pozycji",
       subtitle = "CTR względem 1. pozycji z 95% przedziałem ufności (łańcuch stosunków dla par k, k + 1)",
       x = "Pozycja na liście wyników", y = "CTR względem 1. pozycji (%)") +
  motyw
p3                       # do pliku: ggsave("pozycja-ctr-eksperyment-zamiany.svg", p3, width = 10, height = 5)
Wynik w R
Stosunek CTR(k + 1) / CTR(k) w parach zamienianych losowo:
 urzadzenie k klik_k klik_k1     R prawda
   komputer 1   1999    1570 0.785  0.800
   komputer 2   1237    1022 0.826  0.825
   komputer 3    897     722 0.805  0.848
   komputer 4    677     561 0.829  0.857
   komputer 5    486     448 0.922  0.875
   komputer 6    342     316 0.924  0.881
   komputer 7    284     253 0.891  0.892
   komputer 8    224     200 0.893  0.909
   komputer 9    149     145 0.973  0.900
    telefon 1   3299    2240 0.679  0.720
    telefon 2   1864    1354 0.726  0.722
    telefon 3   1114     833 0.748  0.750
    telefon 4    766     578 0.755  0.769
    telefon 5    460     383 0.833  0.800
    telefon 6    350     268 0.766  0.792
    telefon 7    259     191 0.737  0.842
    telefon 8    175     151 0.863  0.812
    telefon 9    110      81 0.736  0.846
 urzadzenie pozycja ekspery dolna gorna prawda naiwnie
   komputer       1   1.000 1.000 1.000   1.00   1.000
   komputer       2   0.785 0.739 0.834   0.80   0.621
   komputer       3   0.649 0.588 0.716   0.66   0.414
   komputer       4   0.522 0.456 0.599   0.56   0.312
   komputer       5   0.433 0.364 0.515   0.48   0.231
   komputer       6   0.399 0.322 0.495   0.42   0.185
   komputer       7   0.369 0.284 0.479   0.37   0.131
   komputer       8   0.328 0.241 0.448   0.33   0.100
   komputer       9   0.293 0.204 0.422   0.30   0.078
   komputer      10   0.285 0.186 0.438   0.27   0.052
    telefon       1   1.000 1.000 1.000   1.00   1.000
    telefon       2   0.679 0.646 0.713   0.72   0.550
    telefon       3   0.493 0.454 0.536   0.52   0.323
    telefon       4   0.369 0.327 0.416   0.39   0.218
    telefon       5   0.278 0.237 0.327   0.30   0.142
    telefon       6   0.232 0.188 0.286   0.24   0.102
    telefon       7   0.177 0.137 0.231   0.19   0.067
    telefon       8   0.131 0.095 0.180   0.16   0.051
    telefon       9   0.113 0.077 0.166   0.13   0.034
    telefon      10   0.083 0.051 0.135   0.11   0.021
komputer : 3. zamiast 6. pozycji – eksperyment 1.63 [ 1.34 , 1.97 ] | prawda 1.57 
telefon : 3. zamiast 6. pozycji – eksperyment 2.13 [ 1.76 , 2.58 ] | prawda 2.17 

4. Regresja logistyczna i beta-dwumianowa – Rysunek 4

Dane wejściowe: ramka dane z przepisu 1 – te same kolumny co w pliku CSV (możesz ją wczytać read.csv()).

Co odczytać: mnożnik CTR 3. / 6. pozycji z 95% CI dla pięciu metod, CTR na 6. pozycji, χ²/df Pearsona, ρ i AIC.

R
# Rysunek 4. Regresja logistyczna i beta-dwumianowa: ile razy więcej kliknięć na 3. niż na 6. pozycji?
# (korzysta z kol, motyw, theta i dane z przepisu 1 – te same kolumny co w pliku CSV; nic nie losuje)
library(ggplot2)
library(glmmTMB)

# Mnożnik „3. zamiast 6.” dla typowej oferty: z różnicy logitów (Δ) i CTR na 6. pozycji
mnoznik <- function(delta, c6) plogis(qlogis(c6) + delta) / c6
wyniki <- list(); dyspersja <- list(); modele_eo <- list()
for (u in c("komputer", "telefon")) {
  L <- dane[dane$okres == "logi" & dane$urzadzenie == u, ]
  E <- dane[dane$okres == "eksperyment" & dane$urzadzenie == u, ]
  c6 <- sum(E$klikniecia[E$pozycja == 6]) / sum(E$wyswietlenia[E$pozycja == 6])  # CTR typowej oferty na 6.
  E$pozycja_f <- relevel(factor(E$pozycja), ref = "6"); L$pozycja_f <- relevel(factor(L$pozycja), ref = "6")
  E$ranga_f <- factor(E$ranga); E$oferta_f <- factor(E$oferta); L$oferta_f <- factor(L$oferta)

  # 1) Naiwnie: stosunek CTR z logów (przedział z metody delta na skali logarytmu)
  k3 <- sum(L$klikniecia[L$pozycja == 3]); n3 <- sum(L$wyswietlenia[L$pozycja == 3])
  k6 <- sum(L$klikniecia[L$pozycja == 6]); n6 <- sum(L$wyswietlenia[L$pozycja == 6])
  se_n <- sqrt(1 / k3 - 1 / n3 + 1 / k6 - 1 / n6)
  r_n <- (k3 / n3) / (k6 / n6)
  w <- data.frame(metoda = "Logi: surowy CTR", m = r_n, dolna = r_n * exp(-1.96 * se_n), gorna = r_n * exp(1.96 * se_n))

  # 2) Logi + efekt oferty: regresja logistyczna ze stałym efektem każdej z 300 ofert
  m_lo <- glm(cbind(klikniecia, wyswietlenia - klikniecia) ~ pozycja_f + oferta_f, family = binomial, data = L)
  # 3) Eksperyment: regresja logistyczna z rangą nadaną przez algorytm (losowa jest tylko zamiana)
  m_el <- glm(cbind(klikniecia, wyswietlenia - klikniecia) ~ pozycja_f + ranga_f, family = binomial, data = E)
  # 4) Eksperyment: regresja beta-dwumianowa – zmienność ofert jako nadmierna dyspersja
  m_eb <- glmmTMB(cbind(klikniecia, wyswietlenia - klikniecia) ~ pozycja_f + ranga_f, family = betabinomial, data = E)
  # 5) Eksperyment: regresja logistyczna z rangą i efektem oferty
  m_eo <- glm(cbind(klikniecia, wyswietlenia - klikniecia) ~ pozycja_f + ranga_f + oferta_f, family = binomial, data = E)

  for (mm in list(list("Logi + efekt oferty (logistyczna)", m_lo), list("Eksperyment: logistyczna", m_el),
                  list("Eksperyment: beta-dwumianowa", m_eb), list("Eksperyment: logistyczna + efekt oferty", m_eo))) {
    b <- if (inherits(mm[[2]], "glmmTMB")) fixef(mm[[2]])$cond else coef(mm[[2]])
    V <- vcov(mm[[2]]); if (inherits(mm[[2]], "glmmTMB")) V <- V$cond
    d <- b[["pozycja_f3"]]; s <- sqrt(V["pozycja_f3", "pozycja_f3"])
    w <- rbind(w, data.frame(metoda = mm[[1]], m = mnoznik(d, c6), dolna = mnoznik(d - 1.96 * s, c6),
                             gorna = mnoznik(d + 1.96 * s, c6)))
  }
  modele_eo[[u]] <- m_eo
  w$urzadzenie <- u; w$prawda <- theta[u, 3] / theta[u, 6]; w$ctr6 <- c6
  wyniki[[u]] <- w
  dyspersja[[u]] <- data.frame(urzadzenie = u, komorek = nrow(E),
    pearson_chi2_df_logistyczna = sum(residuals(m_el, type = "pearson")^2) / df.residual(m_el),
    rho_beta_dwumianowa = 1 / (1 + sigma(m_eb)),                      # korelacja kliknięć w obrębie komórki
    AIC_logistyczna = AIC(m_el), AIC_beta_dwumianowa = AIC(m_eb))
}
wyn <- do.call(rbind, wyniki)
print(data.frame(wyn[c("urzadzenie", "metoda")], mnoznik = round(wyn$m, 2), dolna = round(wyn$dolna, 2),
                 gorna = round(wyn$gorna, 2), prawda = round(wyn$prawda, 2), szer_CI = round(wyn$gorna - wyn$dolna, 2)),
      row.names = FALSE)
cat("CTR na 6. pozycji w okresie eksperymentu (%):", paste(names(wyniki), round(100 * sapply(wyniki, function(w) w$ctr6[1]), 2)), "\n")
dys <- do.call(rbind, dyspersja)
print(data.frame(dys[1:2], lapply(dys[-(1:2)], round, 3)), row.names = FALSE)

wyn$metoda <- factor(wyn$metoda, levels = rev(unique(wyn$metoda)))
wyn$panel <- factor(ifelse(wyn$urzadzenie == "telefon", "Telefon", "Komputer"), c("Komputer", "Telefon"))
wyn$rodzaj <- ifelse(grepl("^Logi", wyn$metoda), "logi (bez losowania)", "eksperyment z zamianą")
p4 <- ggplot(wyn, aes(m, metoda, colour = rodzaj, shape = rodzaj)) +
  geom_vline(aes(xintercept = prawda), linetype = "22", colour = "grey20") +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0.25, orientation = "y", linewidth = 0.8) +
  geom_point(size = 3) +
  geom_text(aes(label = sprintf("%.2f", m)), nudge_y = 0.32, size = 3.5, show.legend = FALSE) +
  facet_wrap(~ panel) +
  scale_colour_manual(values = c("logi (bez losowania)" = kol[["pomaranczowy"]], "eksperyment z zamianą" = kol[["niebieski"]]),
                      name = NULL) +
  scale_shape_manual(values = c("logi (bez losowania)" = 15, "eksperyment z zamianą" = 16), name = NULL) +
  labs(title = "Ile razy więcej kliknięć na 3. niż na 6. pozycji?",
       subtitle = "Mnożnik CTR typowej oferty z 95% CI; linia przerywana – prawda z symulacji",
       x = "Mnożnik CTR (3. zamiast 6. pozycji)", y = NULL) +
  motyw
p4                       # do pliku: ggsave("pozycja-ctr-modele-mnoznik.svg", p4, width = 10, height = 5.2)
Wynik w R
 urzadzenie                                  metoda mnoznik dolna gorna prawda szer_CI
   komputer                        Logi: surowy CTR    2.24  2.14  2.35   1.57    0.22
   komputer       Logi + efekt oferty (logistyczna)    1.91  1.82  2.01   1.57    0.19
   komputer                Eksperyment: logistyczna    1.54  1.34  1.77   1.57    0.43
   komputer            Eksperyment: beta-dwumianowa    1.51  1.30  1.75   1.57    0.45
   komputer Eksperyment: logistyczna + efekt oferty    1.55  1.35  1.78   1.57    0.43
    telefon                        Logi: surowy CTR    3.15  3.00  3.31   2.17    0.31
    telefon       Logi + efekt oferty (logistyczna)    2.70  2.58  2.84   2.17    0.26
    telefon                Eksperyment: logistyczna    2.06  1.79  2.35   2.17    0.56
    telefon            Eksperyment: beta-dwumianowa    1.98  1.71  2.30   2.17    0.59
    telefon Eksperyment: logistyczna + efekt oferty    2.06  1.80  2.36   2.17    0.57
CTR na 6. pozycji w okresie eksperymentu (%): komputer 3.68 telefon 2.1 
 urzadzenie komorek pearson_chi2_df_logistyczna rho_beta_dwumianowa AIC_logistyczna AIC_beta_dwumianowa
   komputer    8369                       1.568               0.008        29216.83             27742.3
    telefon    8392                       1.718               0.006        30748.47             28377.6

5. Prognoza dla jednej oferty – Rysunek 5

Dane wejściowe: obiekty z przepisów 1, 2 i 4 (nr6, wyn, modele_eo).

Co odczytać: rezerwacje na 100 kliknięć według pozycji z testem χ², prognozę kliknięć i rezerwacji z 95% przedziałem predykcji i wartości prawdziwe.

R
# Rysunek 5. Prognoza: oferta przesunięta z 6. na 3. miejsce – kliknięcia i rezerwacje w miesiącu
# (korzysta z kol, motyw, theta, logi, eks, oferta_v z przepisu 1, nr6 z przepisu 2,
#  wyn i modele_eo z przepisu 4)
library(ggplot2)
library(patchwork)

# Rezerwacje na kliknięcie według pozycji w grupie z zamianą: czy pozycja zmienia tylko kliknięcia?
g <- eks[eks$grupa != "zwykla" & eks$klik == 1, ]
rk <- aggregate(cbind(klik = klik, rez = rezerwacja) ~ pozycja, data = g, FUN = sum)
rk$proc <- 100 * rk$rez / rk$klik
cat("Rezerwacje na 100 kliknięć według pozycji (grupa z zamianą):", paste0(rk$pozycja, ": ", round(rk$proc, 1)), "\n")
tab <- cbind(rk$rez, rk$klik - rk$rez)
cat("Test chi-kwadrat równości odsetka rezerwacji na pozycjach 1–10: chi2 =", round(chisq.test(tab)$statistic, 2),
    "df =", chisq.test(tab)$parameter, "p =", sub("^0", "", formatC(chisq.test(tab)$p.value, format = "f", digits = 3)), "\n")

# Oferta nr6: ile razy stała na 6. miejscu w 30 dniach logów (osobno telefon i komputer)
x6 <- logi[logi$oferta == nr6 & logi$pozycja == 6, ]
n_d <- table(factor(x6$urzadzenie, c("komputer", "telefon")))
hist_o <- rbind(logi[logi$oferta == nr6, ], eks[eks$oferta == nr6, ])
rez_na_klik <- sum(hist_o$rezerwacja) / sum(hist_o$klik)
cat("Oferta nr", nr6, ": na 6. miejscu", sum(n_d), "razy (komputer", n_d[["komputer"]], ", telefon", n_d[["telefon"]],
    ") | kliknięć tam", sum(x6$klik), "| rezerwacje na kliknięcie w historii", round(100 * rez_na_klik, 1), "% (",
    sum(hist_o$rezerwacja), "/", sum(hist_o$klik), ")\n")

# Prognoza z modelu eksperymentu z efektem oferty: ta sama oferta, ranga 6 od algorytmu, pokazana na 3. lub 6.
set.seed(7015)
B <- 10000
los <- sapply(c("komputer", "telefon"), function(u) {
  m <- modele_eo[[u]]
  nz <- c("(Intercept)", "pozycja_f3", "ranga_f6", paste0("oferta_f", nr6))
  b <- coef(m)[nz]; V <- vcov(m)[nz, nz]
  bb <- MASS::mvrnorm(B, b, V)                                 # niepewność współczynników
  eta6 <- bb[, 1] + bb[, 3] + bb[, 4]
  cbind(p6 = plogis(eta6), p3 = plogis(eta6 + bb[, 2]))
}, simplify = "array")
klik6 <- rbinom(B, n_d[["komputer"]], los[, "p6", "komputer"]) + rbinom(B, n_d[["telefon"]], los[, "p6", "telefon"])
klik3 <- rbinom(B, n_d[["komputer"]], los[, "p3", "komputer"]) + rbinom(B, n_d[["telefon"]], los[, "p3", "telefon"])
stopa <- rbinom(B, sum(hist_o$klik), rez_na_klik) / sum(hist_o$klik)   # niepewność odsetka rezerwacji
rez6 <- rbinom(B, klik6, stopa); rez3 <- rbinom(B, klik3, stopa)
# Prognoza naiwna: ta sama podstawa (oczekiwane kliknięcia na 6.), ale mnożnik z surowego CTR w logach
naiw <- wyn$m[wyn$metoda == "Logi: surowy CTR"]; names(naiw) <- wyn$urzadzenie[wyn$metoda == "Logi: surowy CTR"]
klik6_oczek <- c(n_d) * colMeans(los[, "p6", ])                 # komputer, telefon
klik3_naiw <- sum(klik6_oczek * naiw[names(klik6_oczek)])
cat("Mnożnik naiwny: komputer", round(naiw[["komputer"]], 2), "| telefon", round(naiw[["telefon"]], 2), "\n")
# Prawda z symulacji: oczekiwane kliknięcia tych samych wyświetleń na 3. i 6. pozycji
th3 <- theta[cbind(match(x6$urzadzenie, rownames(theta)), 3)]; th6 <- theta[cbind(match(x6$urzadzenie, rownames(theta)), 6)]
p_rez <- plogis(-2.2 + oferta_v[nr6])
prawda <- c(klik6 = sum(th6 * x6$gamma), klik3 = sum(th3 * x6$gamma))
pi95 <- function(x) quantile(x, c(.025, .975))
tab5 <- data.frame(
  wariant = c("dziś: 6. miejsce", "3. miejsce: prognoza naiwna", "3. miejsce: prognoza z eksperymentu"),
  klik = c(mean(klik6), klik3_naiw, mean(klik3)),
  klik_dolna = c(pi95(klik6)[1], NA, pi95(klik3)[1]), klik_gorna = c(pi95(klik6)[2], NA, pi95(klik3)[2]),
  rez = c(mean(rez6), klik3_naiw * rez_na_klik, mean(rez3)),
  rez_dolna = c(pi95(rez6)[1], NA, pi95(rez3)[1]), rez_gorna = c(pi95(rez6)[2], NA, pi95(rez3)[2]),
  prawda_klik = c(prawda[["klik6"]], prawda[["klik3"]], prawda[["klik3"]]),
  prawda_rez = c(prawda[["klik6"]], prawda[["klik3"]], prawda[["klik3"]]) * p_rez)
print(data.frame(tab5[1], lapply(tab5[-1], function(x) ifelse(is.na(x), "–", sprintf("%.1f", x)))), row.names = FALSE)
cat("Przyrost kliknięć (eksperyment): średnio", round(mean(klik3 - klik6), 1), "95% PI [", paste(pi95(klik3 - klik6), collapse = ", "),
    "] | przyrost rezerwacji: średnio", round(mean(rez3 - rez6), 1), "95% PI [", paste(pi95(rez3 - rez6), collapse = ", "),
    "] | P(przyrost rezerwacji <= 0) =", round(mean(rez3 - rez6 <= 0), 3), "\n")
cat("Prawda: przyrost kliknięć", round(prawda[["klik3"]] - prawda[["klik6"]], 1), "| przyrost rezerwacji",
    round((prawda[["klik3"]] - prawda[["klik6"]]) * p_rez, 1), "\n")

tab5$wariant <- factor(tab5$wariant, levels = rev(tab5$wariant))
rys <- function(sr, dl, gr, pr, tytul, x) {
  ggplot(tab5, aes(.data[[sr]], wariant)) +
    geom_errorbar(aes(xmin = .data[[dl]], xmax = .data[[gr]]), width = 0.25, orientation = "y",
                  colour = kol[["niebieski"]], linewidth = 0.8, na.rm = TRUE) +
    geom_point(aes(colour = wariant == "3. miejsce: prognoza naiwna"), size = 3.2, show.legend = FALSE) +
    geom_point(aes(x = .data[[pr]]), shape = 4, size = 3.4, stroke = 1.3, colour = "grey15") +
    geom_text(aes(label = sprintf("%.1f", .data[[sr]])), vjust = -1, size = 3.6, colour = "#0f1d3a") +
    scale_colour_manual(values = c("TRUE" = kol[["pomaranczowy"]], "FALSE" = kol[["niebieski"]])) +
    scale_x_continuous(expand = expansion(mult = c(0.05, 0.12))) +
    labs(title = tytul, x = x, y = NULL) + motyw
}
p5 <- rys("klik", "klik_dolna", "klik_gorna", "prawda_klik", "A. Kliknięcia w miesiącu", "Liczba kliknięć") +
  (rys("rez", "rez_dolna", "rez_gorna", "prawda_rez", "B. Rezerwacje w miesiącu", "Liczba rezerwacji") +
     theme(axis.text.y = element_blank())) +
  plot_layout(widths = c(1.25, 1)) +
  plot_annotation(subtitle = sprintf("Oferta nr %d: %d wyświetleń na 6. miejscu w 30 dniach\nkreski – 95%% przedział predykcji, krzyżyki – prawda z symulacji",
                                     nr6, sum(n_d)), theme = motyw)
p5                       # do pliku: ggsave("pozycja-ctr-prognoza-6-na-3.svg", p5, width = 10, height = 4.8)
Wynik w R
Rezerwacje na 100 kliknięć według pozycji (grupa z zamianą): 1: 11.8 2: 11.7 3: 10.6 4: 10.8 5: 10.8 6: 11.5 7: 11.3 8: 11.5 9: 12.3 10: 12.5 
Test chi-kwadrat równości odsetka rezerwacji na pozycjach 1–10: chi2 = 7.86 df = 9 p = .548 
Oferta nr 191 : na 6. miejscu 631 razy (komputer 236 , telefon 395 ) | kliknięć tam 24 | rezerwacje na kliknięcie w historii 7.4 % ( 29 / 393 )
Mnożnik naiwny: komputer 2.24 | telefon 3.15 
                             wariant klik klik_dolna klik_gorna rez rez_dolna rez_gorna prawda_klik prawda_rez
                    dziś: 6. miejsce 15.3        8.0       24.0 1.1       0.0       4.0        14.9        1.0
         3. miejsce: prognoza naiwna 40.8          –          – 3.0         –         –        27.8        2.0
 3. miejsce: prognoza z eksperymentu 27.5       17.0       39.0 2.0       0.0       5.0        27.8        2.0
Przyrost kliknięć (eksperyment): średnio 12.3 95% PI [ 0, 26 ] | przyrost rezerwacji: średnio 0.9 95% PI [ -2, 5 ] | P(przyrost rezerwacji <= 0) = 0.427 
Prawda: przyrost kliknięć 12.9 | przyrost rezerwacji 0.9 

6. Grafika: lista wyników z odsetkami – Rysunek 6

Dane wejściowe: obiekty ctr, krzywa i wyn z przepisów 1, 3 i 4.

Co odczytać: CTR z logów i sam efekt pozycji względem 1. pozycji.

R
# Rysunek 6. Grafika: lista wyników z odsetkami – co mówią logi, a co sama pozycja
# (korzysta z kol, motyw, p_telefon i ctr z przepisu 1, krzywa z przepisu 3 i wyn z przepisu 4; nic nie losuje)
library(ggplot2)

# Logi: CTR na pozycji względem 1. (oba urządzenia razem); eksperyment: średnia ważona udziałem telefonów
lg <- aggregate(cbind(klik, wysw) ~ pozycja, data = ctr, FUN = sum)
lg$wzgl <- (lg$klik / lg$wysw) / (lg$klik[1] / lg$wysw[1])
ek <- with(krzywa, tapply(wzgl * ifelse(urzadzenie == "telefon", p_telefon, 1 - p_telefon), pozycja, sum))
karta <- data.frame(pozycja = 1:10, logi = lg$wzgl, eksperyment = as.numeric(ek), y = 10:1)
print(data.frame(pozycja = karta$pozycja, logi_proc = round(100 * karta$logi), sama_pozycja_proc = round(100 * karta$eksperyment)),
      row.names = FALSE)

m36 <- wyn[wyn$metoda %in% c("Logi: surowy CTR", "Eksperyment: logistyczna + efekt oferty"), c("urzadzenie", "metoda", "m")]
tekst36 <- sprintf("Z 6. na 3. miejsce:\nlogi obiecują ×%.2f (komputer)\ni ×%.2f (telefon),\neksperyment daje ×%.2f i ×%.2f",
                   m36$m[m36$urzadzenie == "komputer" & grepl("^Logi", m36$metoda)],
                   m36$m[m36$urzadzenie == "telefon" & grepl("^Logi", m36$metoda)],
                   m36$m[m36$urzadzenie == "komputer" & grepl("^Eksp", m36$metoda)],
                   m36$m[m36$urzadzenie == "telefon" & grepl("^Eksp", m36$metoda)])
x0 <- 1.2; skala <- 3.4                                       # początek i długość paska 100%
p6 <- ggplot(karta) +
  geom_rect(aes(xmin = 0, xmax = 5.2, ymin = y - 0.42, ymax = y + 0.42), fill = "#f4f2ee", colour = "#dedbd4") +
  geom_rect(aes(xmin = 0, xmax = 5.2, ymin = y - 0.42, ymax = y + 0.42), data = karta[karta$pozycja %in% c(3, 6), ],
            fill = NA, colour = "#0f1d3a", linewidth = 0.7) +
  geom_text(aes(x = 0.35, y = y, label = paste0(pozycja, ".")), size = 4.6, fontface = "bold", colour = "#0f1d3a") +
  geom_rect(aes(xmin = x0, xmax = x0 + skala * logi, ymin = y + 0.04, ymax = y + 0.30), fill = kol[["pomaranczowy"]]) +
  geom_rect(aes(xmin = x0, xmax = x0 + skala * eksperyment, ymin = y - 0.30, ymax = y - 0.04), fill = kol[["niebieski"]]) +
  geom_text(aes(x = x0 + skala * logi + 0.08, y = y + 0.17, label = sprintf("%.0f%%", 100 * logi)), hjust = 0, size = 3.3,
            colour = kol[["pomaranczowy"]]) +
  geom_text(aes(x = x0 + skala * eksperyment + 0.08, y = y - 0.17, label = sprintf("%.0f%%", 100 * eksperyment)),
            hjust = 0, size = 3.3, colour = kol[["niebieski"]], fontface = "bold") +
  annotate("curve", x = 5.35, y = 5, xend = 5.35, yend = 8, curvature = 0.45, colour = "#0f1d3a",
           arrow = arrow(length = unit(0.18, "cm")), linewidth = 0.6) +
  annotate("rect", xmin = 6.25, xmax = 10.6, ymin = 6.2, ymax = 9.9, fill = "#dcebf6", colour = NA) +
  annotate("text", x = 6.4, y = 8.05, hjust = 0, size = 3.7, lineheight = 0.95, colour = "#0f1d3a", label = tekst36) +
  annotate("rect", xmin = 6.25, xmax = 10.6, ymin = 0.6, ymax = 5.8, fill = "#f4f2ee", colour = "#dedbd4") +
  annotate("text", x = 6.4, y = 3.2, hjust = 0, size = 3.5, lineheight = 0.95, colour = "#0f1d3a",
           label = paste("Jak czytać kartę:",
                         "pomarańczowy pasek – CTR z logów względem 1.;",
                         "miesza efekt pozycji z tym, że wyżej stoją",
                         "lepsze oferty.",
                         "Niebieski pasek – sam efekt pozycji",
                         "z eksperymentu z zamianą sąsiednich",
                         "pozycji (62% telefon, 38% komputer).",
                         "Różnica to błąd selekcji.", sep = "\n")) +
  coord_cartesian(xlim = c(-0.1, 10.7), ylim = c(0.5, 10.6), expand = FALSE) +
  labs(title = "Lista wyników: CTR z logów a czysty efekt pozycji",
       subtitle = "Odsetki względem 1. pozycji (= 100%); obramowane pozycje 3. i 6.", x = NULL, y = NULL) +
  motyw + theme(panel.grid.major = element_blank(), axis.text = element_blank())
p6                       # do pliku: ggsave("pozycja-ctr-lista-wynikow-karta.svg", p6, width = 10, height = 6.2)
Wynik w R
 pozycja logi_proc sama_pozycja_proc
       1       100               100
       2        58                72
       3        36                55
       4        25                43
       5        18                34
       6        13                30
       7         9                25
       8         7                21
       9         5                18
      10         3                16

7. Kontrola palety przy zaburzeniach widzenia barw

Dane wejściowe: nic – pary kolorów użyte na rysunkach.

Co odczytać: odległość barw (ΔE) przy typowym widzeniu, deuteranopii i protanopii; para czerwony–zielony dla porównania.

R
# Czy paleta przetrwa zaburzenia widzenia barw? Symulacja w pakiecie colorspace
library(colorspace)
pary <- list("niebieski – pomarańczowy" = c("#0072B2", "#D55E00"), "błękit – żółty" = c("#56B4E9", "#E69F00"),
             "niebieski – grafit" = c("#0072B2", "#333333"), "czerwony – zielony (dla porównania)" = c("#E41A1C", "#4DAF4A"))
odl <- function(p, f = identity) { x <- f(p); as.numeric(sqrt(rowSums(diff(as(hex2RGB(x), "LAB")@coords)^2))) }
print(round(t(sapply(pary, function(p) c(widzenie_typowe = odl(p), deuteranopia = odl(p, deutan),
                                           protanopia = odl(p, protan)))), 1))
Wynik w R
                                    widzenie_typowe deuteranopia protanopia
niebieski – pomarańczowy                      114.6        108.3       91.9
błękit – żółty                                113.1        111.4      101.5
niebieski – grafit                             48.3         50.3       47.4
czerwony – zielony (dla porównania)           121.7         21.1       31.6

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3. Losowanie, regresję logistyczną (glm) i test χ² wykonano pakietem stats (z podstawowej instalacji R), regresję beta-dwumianową – pakietem glmmTMB, a losowanie współczynników do prognozy – funkcją mvrnorm z pakietu MASS. Rysunki wykonano w pakiecie ggplot2, panele złożono pakietem patchwork i zapisano pakietem svglite, a paletę sprawdzono pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. glmmTMB (wersja 1.1.15.2): Brooks, M. E., Kristensen, K., van Benthem, K. J., Magnusson, A., Berg, C. W., Nielsen, A., Skaug, H. J., Mächler, M., & Bolker, B. M. (2017). glmmTMB balances speed and flexibility among packages for zero-inflated generalized linear mixed modeling. The R Journal, 9(2), 378–400. https://doi.org/10.32614/RJ-2017-066
  3. MASS (wersja 7.3.65): Venables, W. N., & Ripley, B. D. (2002). Modern applied statistics with S (4th ed.). Springer. https://doi.org/10.1007/978-0-387-21706-2
  4. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  5. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  6. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1). https://doi.org/10.18637/jss.v096.i01
  7. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Krzywa CTR z logów jako efekt pozycji – miesza pozycję z jakością ofert (rysunki 1 i 2).
  • „Dodałem efekt oferty, więc jest przyczynowo” – nie, gdy pozycja zależy od dopasowania do wyszukiwania (rysunek 4).
  • Jedna krzywa dla wszystkich urządzeń – na telefonie widać mniej wyników (rysunki 3 i 6).
  • Kliknięcia ≠ rezerwacje – przyrost kliknięć to nie przyrost przychodu (rysunek 5).
  • Pseudoreplikacja – wyświetlenia tej samej oferty nie są niezależne; dlatego model beta-dwumianowy albo efekt oferty. Ta sama logika wraca w eksperymencie z porą wysyłki mailingu, a czas od wejścia do zakupu analizuje wpis o okresie próbnym i freemium.

Najczęstsze pytania

Dlaczego CTR na pierwszej pozycji w wynikach jest dużo wyższy niż na dalszych?

Z dwóch powodów naraz. Wynik wyżej częściej ktoś w ogóle zobaczy (efekt pozycji), a algorytm stawia wyżej oferty, które i tak są częściej klikane (błąd selekcji). W przykładzie oferty z 3. miejsca były same z siebie 1.52 raza atrakcyjniejsze niż z 6., więc stosunek CTR z logów (2.24) był wyraźnie większy niż sam efekt pozycji (1.57).

Jak zmierzyć czysty efekt pozycji w wynikach wyszukiwania?

Najprościej eksperymentem: na części ruchu losowo zamieniaj sąsiednie pozycje (np. 3. i 4.). Na obie pozycje trafiają wtedy oferty o tej samej średniej atrakcyjności, więc stosunek CTR mierzy samą pozycję. W przykładzie zamiany w 40% wyszukiwań przez 28 dni dały mnożnik 3. / 6. pozycji 1.55, 95% CI [1.35, 1.78], przy prawdziwym 1.57.

Czy efekt oferty w regresji usuwa błąd selekcji w danych o kliknięciach?

Tylko częściowo. Usuwa stałą jakość oferty, ale nie to, że ta sama oferta trafia wyżej w wyszukiwaniach, do których lepiej pasuje. W przykładzie regresja logistyczna z efektem 300 ofert na logach dała mnożnik 1.91 [1.82, 2.01] zamiast prawdziwych 1.57 – wąski przedział, ale obciążony.

Kiedy użyć regresji beta-dwumianowej zamiast logistycznej dla kliknięć?

Gdy masz zbiorcze liczby kliknięć i wyświetleń, a kliknięcia są bardziej zmienne, niż przewiduje rozkład dwumianowy – np. bo w jednej komórce są różne oferty. W przykładzie χ²/df Pearsona w modelu logistycznym wynosiło 1.57–1.72, a model beta-dwumianowy miał niższe AIC i dał zbliżony mnożnik (1.51 i 1.98) z nieco szerszym przedziałem.

Czy wyższa pozycja w wynikach zwiększa rezerwacje, czy tylko kliknięcia?

W przykładzie pozycja zmieniała tylko to, ile osób ofertę obejrzy: po kliknięciu rezerwowało 10.6–12.5% osób na każdej pozycji (p = .548). Dla oferty z 7.4% rezerwacji na kliknięcie przesunięcie z 6. na 3. miejsce dało średnio 12.3 kliknięcia, ale tylko 0.9 rezerwacji miesięcznie więcej, z 95% przedziałem predykcji [−2, 5].

Powiązane hasła

Przeczytaj też

Analizujesz kliknięcia, rankingi albo eksperymenty online w pracy?

Pomożemy zaplanować eksperyment z losową zmianą pozycji, dobrać model dla kliknięć i opisać wyniki oraz ich ograniczenia tak, żebyś umiał(a) je obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Craswell, N., Zoeter, O., Taylor, M., & Ramsey, B. (2008). An experimental comparison of click position-bias models. In Proceedings of the International Conference on Web Search and Web Data Mining (WSDM '08) (pp. 87–94). Association for Computing Machinery. https://doi.org/10.1145/1341531.1341545
  2. Joachims, T., Swaminathan, A., & Schnabel, T. (2017). Unbiased learning-to-rank with biased feedback. In Proceedings of the Tenth ACM International Conference on Web Search and Data Mining (WSDM '17) (pp. 781–789). Association for Computing Machinery. https://doi.org/10.1145/3018661.3018699 ● Otwarty dostęp
  3. Narayanan, S., & Kalyanam, K. (2015). Position effects in search advertising and their moderators: A regression discontinuity approach. Marketing Science, 34(3), 388–407. https://doi.org/10.1287/mksc.2014.0893
  4. Skellam, J. G. (1948). A probability distribution derived from the binomial distribution by regarding the probability of success as variable between the sets of trials. Journal of the Royal Statistical Society: Series B (Methodological), 10(2), 257–261. https://doi.org/10.1111/j.2517-6161.1948.tb00014.x
  5. Ursu, R. M. (2018). The power of rankings: Quantifying the effect of rankings on online consumer search and purchase decisions. Marketing Science, 37(4), 530–552. https://doi.org/10.1287/mksc.2017.1072 ● Otwarty dostęp: pełny tekst
  6. Wang, X., Golbandi, N., Bendersky, M., Metzler, D., & Najork, M. (2018). Position bias estimation for unbiased learning to rank in personal search. In Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining (WSDM '18) (pp. 610–618). Association for Computing Machinery. https://doi.org/10.1145/3159652.3159732 ● Otwarty dostęp

Cytowania BibTeX

@inproceedings{craswell2008experimental, author={Craswell, Nick and Zoeter, Onno and Taylor, Michael and Ramsey, Bill}, title={{An experimental comparison of click position-bias models}}, booktitle={Proceedings of the International Conference on Web Search and Web Data Mining (WSDM '08)}, year={2008}, pages={87--94}, publisher={Association for Computing Machinery}, doi={10.1145/1341531.1341545}}
@inproceedings{joachims2017unbiased, author={Joachims, Thorsten and Swaminathan, Adith and Schnabel, Tobias}, title={{Unbiased learning-to-rank with biased feedback}}, booktitle={Proceedings of the Tenth ACM International Conference on Web Search and Data Mining (WSDM '17)}, year={2017}, pages={781--789}, publisher={Association for Computing Machinery}, doi={10.1145/3018661.3018699}}
@article{narayanan2015position, author={Narayanan, Sridhar and Kalyanam, Kirthi}, title={{Position effects in search advertising and their moderators: A regression discontinuity approach}}, journal={Marketing Science}, year={2015}, volume={34}, number={3}, pages={388--407}, doi={10.1287/mksc.2014.0893}}
@article{skellam1948probability, author={Skellam, J. G.}, title={{A probability distribution derived from the binomial distribution by regarding the probability of success as variable between the sets of trials}}, journal={Journal of the Royal Statistical Society: Series B (Methodological)}, year={1948}, volume={10}, number={2}, pages={257--261}, doi={10.1111/j.2517-6161.1948.tb00014.x}}
@article{ursu2018power, author={Ursu, Raluca M.}, title={{The power of rankings: Quantifying the effect of rankings on online consumer search and purchase decisions}}, journal={Marketing Science}, year={2018}, volume={37}, number={4}, pages={530--552}, doi={10.1287/mksc.2017.1072}}
@inproceedings{wang2018position, author={Wang, Xuanhui and Golbandi, Nadav and Bendersky, Michael and Metzler, Donald and Najork, Marc}, title={{Position bias estimation for unbiased learning to rank in personal search}}, booktitle={Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining (WSDM '18)}, year={2018}, pages={610--618}, publisher={Association for Computing Machinery}, doi={10.1145/3159652.3159732}}
R