Statystyka · Eksperymenty cyfrowe

Wielorękie bandyty a test A/B – strategia epsilon-zachłanna i UCB

Fikcyjny portal z przepisami, cztery nagłówki zajawki i pytanie „który pokazywać?”. Test A/B z równym podziałem, strategia epsilon-zachłanna i UCB1 w 1000 symulacjach po 20 000 odsłon: utracone kliknięcia, trafność wyboru, obciążone średnie po bandycie i preferencje zmieniające się w czasie – sześć rysunków z kodem R, podpisy APA i zdania do pracy.

Strona główna / Blog / Bandyty a test A/B
W skrócie: Wieloręki bandyta to strategia, która w trakcie eksperymentu przesuwa ruch w stronę wariantu wygrywającego, zamiast dzielić go po równo jak test A/B. W symulacji czterech nagłówków (1000 przebiegów po 20 000 odsłon) strategia epsilon-zachłanna straciła średnio 63.0 kliknięcia, test A/B 78.9, a UCB1 135.8, ale UCB1 najczęściej wskazywała najlepszy nagłówek (93.4%). Ceną bandyty jest wnioskowanie: średnie CTR po strategii epsilon-zachłannej były zaniżone o 4.2–5.8%, a przedziały ufności pokrywały prawdę rzadziej niż w 95% przypadków.

Przykład: portal z przepisami i cztery nagłówki

Fikcyjny portal z przepisami kulinarnymi ma na stronie głównej zajawkę przepisu na krem z dyni. Redakcja napisała cztery nagłówki i pyta: który pokazywać, żeby jak najwięcej osób kliknęło – i ile kliknięć kosztuje samo sprawdzanie? Zwykła odpowiedź to test A/B: równy podział ruchu, potem wdrożenie zwycięzcy. Alternatywa to wieloręki bandyta – algorytm, który w trakcie testu przesuwa ruch w stronę nagłówka wygrywającego.

Cztery nagłówki zajawki i ich prawdziwe CTR w symulacji
NagłówekTreśćPrawdziwy CTR
AZupa krem z dyni – przepis3.5%
BKrem z dyni w 30 minut4.0%
CZupa z dyni, którą zjedzą nawet dzieci5.0%
DNajprostszy krem z dyni z 5 składników4.4%

Dane są fikcyjne, a parametry ustaliliśmy ręcznie: prawdziwe CTR (odsetek odsłon zakończonych kliknięciem) jak w tabeli, 20 000 odsłon zajawki, test A/B trwający 8000 odsłon, ε = 0.10. Strategie tych wartości nie znają; my znamy je, więc widzimy, ile kliknięć traci każda strategia. Każdą strategię powtórzyliśmy w 1000 niezależnych przebiegach (ziarna 657, 6571 i 6572 ustalone raz i niezmieniane). Wynik każdego przebiegu – liczbę odsłon i kliknięć każdego nagłówka – pobierzesz jako wielorekie-bandyty-przebiegi.csv.

Rysunek 1: automat z czterema ramionami

Nazwa pochodzi od automatu do gry z kilkoma dźwigniami („ramionami”): każda wypłaca z inną, nieznaną szansą. Każda odsłona to jedno pociągnięcie: strategia wybiera nagłówek, czytelnik klika albo nie, strategia aktualizuje wiedzę. Pierwsze prace o takim sekwencyjnym planowaniu eksperymentów, w którym liczebność i skład prób zależą od samych obserwacji, pochodzą z lat 50. (Robbins, 1952).

Schemat: cztery kolorowe prostokąty z nagłówkami A–D prowadzą strzałkami do pola „Strategia wybiera nagłówek dla kolejnej odsłony”, dalej do pola „Czytelnik: kliknięcie albo brak”, potem do pola „Aktualizacja liczby odsłon i CTR” i z powrotem do strategii; podpis „powtórz 20 000 razy”; u dołu reguły trzech strategii
Rysunek 1. Wieloręki bandyta jako pętla decyzji: ramiona to nagłówki, każda odsłona to wybór i nowa informacja. R, ggplot2 (grafika, bez danych).

Co widać. Sedno to kompromis eksploracja–eksploatacja: trzymać się nagłówka, który dotąd dawał najwięcej kliknięć, czy sprawdzać słabiej znane, które mogą okazać się lepsze (Bubeck i Cesa-Bianchi, 2012). Trzy strategie rozstrzygają go inaczej:

  • Test A/B z równym podziałem – najpierw sama eksploracja (8000 odsłon losowo po równo), potem sama eksploatacja (tylko zwycięzca).
  • Strategia epsilon-zachłanna – w 90% odsłon pokazuje nagłówek z najwyższym dotąd CTR, w 10% (ε = 0.10) losowy.
  • UCB1 (górna granica ufności) – pokazuje nagłówek z najwyższą sumą: zaobserwowany CTR + premia za niepewność.
UCBk = p̂k + √(2 ln t / nk)

gdzie p̂k to dotychczasowy CTR nagłówka k, nk – liczba jego odsłon, a t – liczba wszystkich odsłon. Nagłówek rzadko pokazywany ma dużą premię, więc prędzej czy później zostanie sprawdzony.

Jak może zmylić. Schemat sugeruje, że wynik przychodzi od razu; kliknięcia (a tym bardziej zakupy) mogą spływać z opóźnieniem.

Podpis do pracy:

Rysunek 1. Schemat sekwencyjnego przydziału wariantów nagłówka. Uwaga. Po każdej odsłonie strategia aktualizuje liczbę odsłon i odsetek kliknięć wybranego wariantu.

Rysunek 2: jeden przebieg z bliska

Najpierw jeden przebieg każdej strategii (pierwszy z tysiąca – nie wybieraliśmy go).

Trzy panele słupków skumulowanych: udział nagłówków A–D w blokach po 500 odsłon. Test A/B: do 8000 odsłon po około 25% każdy, potem 100% nagłówka D. Epsilon-zachłanna: przez pierwsze około 1000 odsłon głównie D, potem około 90% nagłówka C. UCB1: przez cały czas wszystkie cztery nagłówki, z rosnącą przewagą C
Rysunek 2. Udział nagłówków w kolejnych blokach 500 odsłon w pierwszym przebiegu każdej strategii. R, ggplot2 (dane symulowane, set.seed(657)).

Co widać. Test A/B przez 8000 odsłon dzieli ruch po równo, a potem – w tym przebiegu – wdraża niewłaściwy nagłówek D, bo w teście D wypadł przypadkiem lepiej niż C. Strategia epsilon-zachłanna przez pierwsze ok. 1000 odsłon trzymała się D, który na starcie miał szczęście, a potem przełączyła się na C i pokazywała go w ok. 90% odsłon (pozostałe 10% to losowa eksploracja). UCB1 do końca pokazuje wszystkie cztery nagłówki, choć C coraz częściej. Średnio w 1000 przebiegów strategia epsilon-zachłanna oddała nagłówkowi C 12 376 odsłon, test A/B – 11 527, a UCB1 – tylko 6330.

Jak może zmylić. Jeden przebieg to anegdota – dlatego dalej patrzymy na 1000 przebiegów.

Podpis do pracy:

Rysunek 2. Udział wariantów nagłówka w kolejnych blokach po 500 odsłon w jednym przebiegu symulacji dla trzech strategii przydziału. Uwaga. Dane symulowane; prawdziwe CTR: A – 3.5%, B – 4.0%, C – 5.0%, D – 4.4%.

Rysunek 3: ile kliknięć kosztuje uczenie się

Gdybyśmy od początku wiedzieli, że najlepszy jest C, 20 000 odsłon dałoby średnio 1000 kliknięć. Każda odsłona innego nagłówka to strata: przy A – 1.5 punktu procentowego oczekiwanego kliknięcia, przy D – 0.6. Suma tych strat to skumulowany żal (regret) – utracone kliknięcia, czyli wartość oczekiwana tego, co strategia oddała za naukę.

Wykres liniowy skumulowanego żalu w funkcji numeru odsłony: test A/B rośnie liniowo do 62 kliknięć przy 8000 odsłon, potem wolno do 79; epsilon-zachłanna rośnie najwolniej do 63, z szerokim pasmem od 17 do 131; UCB1 rośnie prawie liniowo do 136 z wąskim pasmem
Rysunek 3. Średni skumulowany żal (utracone kliknięcia) w 1000 przebiegach; pasmo – od 10. do 90. percentyla przebiegów. R, ggplot2 (dane symulowane, set.seed(657)).

Co widać. Test A/B w fazie testu traci kliknięcia liniowo: 62.0 do 8000. odsłony. Potem krzywa się wypłaszcza, ale nie dla wszystkich przebiegów: 90. percentyl to 134.2, bo co piąty test wdraża zły nagłówek i traci aż do końca. Strategia epsilon-zachłanna ma najniższy średni żal (63.0 wobec 78.9), ale największy rozrzut – od 16.8 do 131.2. UCB1 traci najwięcej: 135.8 kliknięć. Przy CTR rzędu 5% premia za niepewność wielokrotnie przewyższa różnice między nagłówkami, więc UCB1 eksploruje prawie do końca.

Wynik zależy od parametrów (przepis 3): przy ε = 0.20 żal wyniósł 66.3, przy ε = 0.05 – 71.8; krótszy test A/B (4000 odsłon) – 69.9, dłuższy (12 000) – 101.6; UCB z premią pomniejszoną pięciokrotnie – 71.4.

Jak może zmylić. Żal wymaga znajomości prawdziwych CTR – to miara do porównywania strategii w symulacji, nie do policzenia na danych z portalu.

Podpis do pracy:

Rysunek 3. Skumulowany żal trzech strategii przydziału w funkcji liczby odsłon. Uwaga. Linie – średnia z 1000 przebiegów symulacji; pasma – przedział od 10. do 90. percentyla; linia kropkowana – koniec fazy testu A/B.

Zdanie do Wyników:

W 1000 symulacjach po 20 000 odsłon średnia liczba utraconych kliknięć wyniosła 63.0 dla strategii epsilon-zachłannej (ε = 0.10), 78.9 dla testu A/B z wdrożeniem zwycięzcy po 8000 odsłonach i 135.8 dla UCB1, wobec 1000 kliknięć możliwych przy stałym wyświetlaniu najlepszego nagłówka.

Rysunek 4: czy strategia wskazuje właściwy nagłówek

Drugie pytanie redakcji: który nagłówek jest naprawdę najlepszy? Za wskazanie strategii przyjmujemy nagłówek z najwyższym dotąd CTR, a w teście A/B po 8000 odsłon – wdrożonego zwycięzcę.

Wykres liniowy odsetka przebiegów wskazujących nagłówek C: wszystkie strategie startują blisko 30%; test A/B dochodzi do 79% przy 8000 odsłon i dalej jest płaski; UCB1 rośnie do 93%; epsilon-zachłanna rośnie wolniej, do 80% na końcu; pozioma linia 25% oznacza zgadywanie
Rysunek 4. Odsetek przebiegów, w których strategia wskazuje prawdziwie najlepszy nagłówek C; pasmo – ±1.96 błędu Monte Carlo. R, ggplot2 (dane symulowane, set.seed(657)).

Co widać. Tu kolejność jest odwrotna niż na rysunku 3. UCB1 wskazuje C w 93.4% przebiegów (błąd Monte Carlo 0.79 pp), test A/B – w 79.4% (16.8% wdraża D), strategia epsilon-zachłanna – w 79.9%. Po 2000 odsłon strategia epsilon-zachłanna trafia tylko w 47.1% przebiegów. To klasyczny kompromis: im mniej kliknięć tracisz w trakcie, tym słabiej poznajesz przegrane warianty. Villar i in. (2015) opisują to samo w badaniach klinicznych: reguły bandyckie przydzielają więcej uczestników do lepszej terapii, ale mają niską moc.

Jak może zmylić. „Wskazuje C” nie znaczy „wykazał istotną przewagę C”. Przy różnicy 0.6 pp i ok. 2000 odsłon na nagłówek test różnicy C i D ma małą moc; jak ją policzyć przed startem, opisuje wpis test A/B – plan i analiza.

Podpis do pracy:

Rysunek 4. Odsetek przebiegów symulacji, w których strategia wskazywała najlepszy wariant nagłówka, w funkcji liczby odsłon. Uwaga. Pasma – ±1.96 błędu Monte Carlo (1000 przebiegów).

Rysunek 5: dlaczego bandyta utrudnia wnioskowanie

Po teście redakcja chce napisać w raporcie: „CTR nagłówka C wyniósł 5.0%, 95% CI [4.6, 5.4]”. Przy teście A/B to uprawnione. Przy bandycie – nie całkiem. Nagłówek, który na początku miał pecha, strategia porzuca, więc jego zaniżona średnia się nie poprawia; ten, który miał szczęście, dostaje więcej odsłon i jego średnia wraca do prawdy. W efekcie średnie z próby są zaniżone, a liczebności nierówne i losowe.

Dwa panele punktowe dla czterech analiz i czterech nagłówków. A: obciążenie średniego CTR – w teście A/B z samych 8000 odsłon blisko zera, w teście A/B ze wszystkich odsłon około −2% dla C i D, w epsilon-zachłannej od −4.2% do −5.8%, w UCB1 poniżej −1%. B: pokrycie przedziału 95% – większość punktów w szarym pasie błędu Monte Carlo wokół 95%, poniżej niego C w teście A/B ze wszystkich odsłon (92.2%) i C w epsilon-zachłannej (92.3%)
Rysunek 5. Obciążenie średniego CTR (A) i pokrycie 95% przedziału Walda (B) dla czterech nagłówków przy różnych sposobach zbierania danych; szare pole – ±1.96 błędu Monte Carlo wokół 95%. R, ggplot2 i patchwork (dane symulowane, set.seed(657)).

Co widać. Gdy analizujemy tylko fazę testu A/B (po ok. 2000 odsłon na nagłówek), obciążenie mieści się w szumie symulacji (od −0.8% do −0.1% prawdziwej wartości), a pokrycie przedziału – w granicach 94.5–95.9%. W strategii epsilon-zachłannej średnie CTR są zaniżone o 4.2–5.8%, a przedział ufności dla proporcji nagłówka C pokrywa prawdę w 92.3% przebiegów (błąd MC 0.69 pp). Mechanizm dobrze widać na nagłówku B: w przebiegach, w których dostał najwyżej 1000 odsłon, jego CTR był zaniżony średnio o 0.31 pp, a gdy dostał ponad 3000 – zawyżony o 0.08 pp. Uwaga na test A/B: jeśli policzysz CTR ze wszystkich 20 000 odsłon, także po wdrożeniu, decyzja o wdrożeniu zależała od danych i średnie C i D są zaniżone o ok. 2%.

Średnia z próby przestaje być estymatorem nieobciążonym, bo liczba obserwacji zależy od ich wartości. Hadad i in. (2021) pokazują, że przy danych zebranych adaptacyjnie zwykłe średnie mogą być obciążone, a ich rozkład ma grube ogony, i proponują ważone estymatory z poprawnymi przedziałami. Pokrewną klątwę zwycięzcy opisuje wpis o teście A/B z wieloma wariantami.

Jak może zmylić. Obciążenie rzędu 5% wygląda niewinnie, ale przy różnicach między nagłówkami rzędu 10–15% potrafi odwrócić kolejność w raporcie.

Podpis do pracy:

Rysunek 5. Obciążenie średniego odsetka kliknięć i pokrycie 95% przedziałów ufności Walda dla czterech wariantów nagłówka w zależności od sposobu przydziału odsłon. Uwaga. Wyniki z 1000 przebiegów symulacji; szare pole – zakres zgodny z nominalnym pokryciem 95% przy błędzie Monte Carlo.

Zdanie do Wyników:

Przy przydziale epsilon-zachłannym średnie odsetki kliknięć były zaniżone o 4.2–5.8% prawdziwej wartości, a pokrycie nominalnie 95% przedziałów Walda spadło do 92.3%; przy analizie samej fazy testu A/B obciążenie nie przekraczało 1%, a pokrycie wynosiło 94.5–95.9%.

Rysunek 6: gdy najlepszy nagłówek zmienia się w czasie

Wszystkie dotychczasowe strategie zakładały, że CTR są stałe. Załóżmy teraz, że po 10 000 odsłon (np. przed weekendem) czytelnicy szukają prostych przepisów: C spada do 3.8%, a D rośnie do 5.2% (wartości ustalone ręcznie). Dodajemy czwartą strategię: epsilon-zachłanną z zapominaniem – po każdej odsłonie stare dane tracą wagę (mnożnik γ = 0.9995, czyli pamięć rzędu 2000 ostatnich odsłon). Besbes i in. (2019) pokazują, że gdy średnie nagrody się zmieniają, strategię trzeba porównywać z wyrocznią, która w każdej chwili wybiera aktualnie najlepszą opcję.

Dwa panele z pionową linią przy 10 000 odsłon. A: skumulowany żal – po zmianie najszybciej rośnie test A/B (do około 180), potem UCB1 (około 162) i epsilon-zachłanna (około 126); najwolniej wersja z zapominaniem (około 91). B: odsetek wskazań aktualnie najlepszego nagłówka spada po zmianie do 15–25%; test A/B zostaje na 17%, epsilon-zachłanna wraca do 58%, UCB1 do 84%, wersja z zapominaniem do 89%
Rysunek 6. Skumulowany żal (A) i trafność wskazania (B) czterech strategii, gdy po 10 000 odsłon najlepszy staje się nagłówek D. R, ggplot2 i patchwork (dane symulowane, set.seed(6572)).

Co widać. Test A/B zakończył się przed zmianą i dalej pokazuje C: po zmianie traci 114.8 kliknięć, a D wskazuje tylko w 17.4% przebiegów (tam, gdzie przez pomyłkę wdrożył D). Zwykła strategia epsilon-zachłanna traci 87.1 i po 10 000 kolejnych odsłon wskazuje D w 57.9% przebiegów – tysiące starych odsłon C długo trzymają jej średnią w górze. Wersja z zapominaniem traci 54.3 kliknięcia i wskazuje D w 88.6%. UCB1 reaguje lepiej niż zwykła epsilon-zachłanna (83.7%), bo i tak cały czas eksploruje.

Jak może zmylić. Przy stałych CTR krótka pamięć szkodzi. Pokrewne zjawisko w teście A/B to efekt nowości – zob. pułapki testów A/B na obrazkach.

Podpis do pracy:

Rysunek 6. Skumulowany żal i odsetek trafnych wskazań czterech strategii przydziału przy zmianie najlepszego wariantu po 10 000 odsłon. Uwaga. Średnie z 1000 przebiegów symulacji; pionowa linia – moment zmiany prawdziwych odsetków kliknięć.

Kiedy test A/B, a kiedy bandyta

Kiedy wybrać test A/B, a kiedy strategię bandycką
SytuacjaLepszy wybór
Chcesz wiedzieć, o ile C jest lepszy, z przedziałem ufności i testem – np. do pracy dyplomowej lub decyzji na lataTest A/B z planem i liczebnością ustaloną z góry
Krótkie okno (nagłówek na kilka dni, promocja świąteczna), liczy się suma kliknięć terazBandyta (np. epsilon-zachłanna)
Preferencje zmieniają się w czasieBandyta z zapominaniem lub ponawiane testy
Metryka spływa z opóźnieniem (zakup po tygodniu, rezygnacja z abonamentu)Test A/B – bandyta uczy się na niepełnych danych

Bandyta nie zwalnia z planu analizy przed startem. Ciągłe zaglądanie do testu A/B to inny problem – opcjonalne zatrzymywanie; klasyczne wartości p są wtedy niewiarygodne, a rozwiązaniem są wnioskowania zawsze ważne (Johari i in., 2022).

Co z tym zrobić w firmie

  • Najpierw nazwij cel. „Zarobić jak najwięcej kliknięć w tym tygodniu” to zadanie dla bandyty. „Dowiedzieć się, który nagłówek jest lepszy i o ile” – dla testu A/B.
  • Policz koszt eksploracji przed startem. Symulacja jak tutaj (przepisy 2–3) z realnymi CTR z przeszłości pokaże, ile kliknięć kosztuje test i jak często wdroży się zły wariant – w przykładzie co piąty test.
  • Nie stosuj UCB1 „z podręcznika” do rzadkich zdarzeń. Przy CTR rzędu kilku procent premia za niepewność jest za duża; dobierz jej skalę w symulacji.
  • Raportuj ostrożnie. Do decyzji na dłużej zrób krótki test potwierdzający z równym podziałem.
  • Zapisuj prawdopodobieństwa przydziału. Bez nich nie da się później poprawić obciążenia (ważenie przez odwrotność prawdopodobieństwa).
  • Zostaw stałą eksplorację (np. 5–10% ruchu), gdy preferencje mogą się zmieniać.

Inne metody eksperymentów w firmie: redukcja wariancji w CUPED i testy, w których grupy wpływają na siebie nawzajem – efekt sieciowy i switchback. Kontrolowany eksperyment pozostaje najlepszym sposobem ustalenia, czy zmiana na stronie zmienia zachowanie (Kohavi i in., 2009) – bandyta inaczej rozdziela tylko ruch.

Jak opisać w pracy

Porównanie strategii przydziału pasuje do prac z marketingu internetowego, e-commerce i zarządzania produktem (zob. statystyka w pracy z zarządzania i ekonomii i statystyka w pracy z marketingu). Badanie symulacyjne zaplanuj według schematu ADEMP – zob. jak zaplanować badanie symulacyjne. W Metodzie podaj: warianty i metrykę, prawdziwe parametry symulacji, horyzont, reguły strategii z parametrami, liczbę przebiegów, ziarno i miary oceny.

Porównano trzy strategie przydziału czterech wariantów nagłówka: test A/B z równym losowym podziałem pierwszych 8000 odsłon i wdrożeniem wariantu o najwyższym odsetku kliknięć, strategię epsilon-zachłanną (ε = 0.10) oraz UCB1. Prawdziwe odsetki kliknięć ustalono na 3.5%, 4.0%, 5.0% i 4.4%, a horyzont na 20 000 odsłon. Każdą strategię oceniono w 1000 przebiegach symulacji Monte Carlo w programie R (ziarno 657) na podstawie skumulowanego żalu (oczekiwanej liczby utraconych kliknięć), odsetka przebiegów wskazujących najlepszy wariant oraz obciążenia i pokrycia 95% przedziałów ufności dla odsetków kliknięć.

W Wynikach użyj zdań spod rysunków 3 i 5. W ograniczeniach napisz wprost, że wnioski dotyczą przyjętych CTR i horyzontu, a przy innych parametrach kolejność strategii może się zmienić (przepis 3). Strukturę całej pracy omawia wpis jak napisać pracę z zarządzania i ekonomii.

Przykład reprodukowalny

Kod R: test A/B, strategia epsilon-zachłanna i UCB1 w symulacji

Kod odtwarza wszystkie liczby z tekstu i sześć rysunków w bazowym R i ggplot2 – bez pakietów do bandytów (strategie są zapisane w kilkunastu wierszach funkcji symuluj()). Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy paletę, motyw i tabelę nagłówków, przepis 2 – funkcję symuluj() i główną symulację, z której korzystają przepisy 3–5. Funkcja liczy 1000 przebiegów naraz (wektorowo), więc każdy przepis trwa kilka sekund. Każdy przepis z rysunkiem kończy się nazwą wykresu (p1–p6), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów p1–p6, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne.

Losują przepisy 2, 3 i 6; każdy zaczyna od własnego set.seed() (657, 6571 i 6572). Ziaren nie zmienialiśmy po pierwszym uruchomieniu. Ręcznie ustalono: prawdziwe CTR nagłówków (przepis 1) i ich zmianę po 10 000 odsłon (przepis 6), horyzont 20 000 odsłon, długość testu A/B (8000), ε = 0.10, γ = 0.9995 i warianty parametrów w przepisie 3.

1. Paleta, nagłówki i schemat: Rysunek 1

Dane wejściowe: nic – prawdziwe CTR wpisane w kod. Niczego nie losuje.

Co odczytać: tabelę czterech nagłówków z prawdziwymi CTR.

R
# Rysunek 1. Fikcyjny portal z przepisami kulinarnymi: wieloręki bandyta jako pętla decyzji
library(ggplot2)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw
kol <- c(pomarancz = "#E69F00", blekit = "#56B4E9", zielony = "#009E73", fiolet = "#CC79A7",
         niebieski = "#0072B2", cynober = "#D55E00", szary = "grey60", ciemny = "grey20")
kol_wariant <- c(A = "#E69F00", B = "#56B4E9", C = "#009E73", D = "#0072B2")
kol_strategia <- c("Test A/B, potem zwycięzca" = "grey20", "Epsilon-zachłanna (ε = 0.10)" = "#0072B2",
                   "UCB1" = "#D55E00")
motyw <- theme_minimal(base_size = 13) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        strip.text = element_text(face = "bold", colour = "#0f1d3a", hjust = 0), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))

# Cztery nagłówki zajawki tego samego przepisu i ich prawdziwe CTR (ustalone ręcznie; strategie ich nie znają)
naglowki <- data.frame(
  wariant = c("A", "B", "C", "D"),
  tekst = c("Zupa krem z dyni – przepis", "Krem z dyni w 30 minut",
            "Zupa z dyni, którą zjedzą nawet dzieci", "Najprostszy krem z dyni z 5 składników"),
  ctr_prawdziwy = c(0.035, 0.040, 0.050, 0.044))
print(naglowki, row.names = FALSE)

# Rysunek 1: schemat – ramiona automatu (nagłówki) → strategia → czytelnik → aktualizacja → strategia
ramiona <- data.frame(x = 1.2, y = c(7.6, 6.2, 4.8, 3.4), wariant = naglowki$wariant,
                      tekst = paste0(naglowki$wariant, ": „", sapply(strwrap(naglowki$tekst, 24, simplify = FALSE), paste, collapse = "\n"), "”"))
pola <- data.frame(
  x = c(5.0, 8.4, 6.7, 6.7), y = c(5.5, 5.5, 2.3, 8.6), w = c(2.5, 2.4, 4.2, 6.0), h = c(1.9, 1.9, 1.5, 1.2),
  tekst = c("Strategia wybiera\nnagłówek dla\nkolejnej odsłony",
            "Czytelnik:\nkliknięcie (1)\nalbo brak (0)",
            "Aktualizacja: liczba odsłon n\ni CTR wybranego nagłówka",
            "Eksploracja: sprawdzaj słabiej znane nagłówki\nEksploatacja: pokazuj ten, który dotąd wygrywa"))
strzalki <- data.frame(x = c(2.55, 2.55, 2.55, 2.55, 6.2, 8.4, 4.7), y = c(7.6, 6.2, 4.8, 3.4, 5.5, 4.55, 2.3),
                       xend = c(3.8, 3.8, 3.8, 3.8, 7.2, 8.4, 5.0), yend = c(5.9, 5.6, 5.4, 5.1, 5.5, 2.3, 4.55))
p1 <- ggplot() +
  geom_rect(data = ramiona, aes(xmin = x - 1.35, xmax = x + 1.35, ymin = y - 0.55, ymax = y + 0.55, fill = wariant),
            colour = "grey35", linewidth = 0.4, alpha = 0.45) +
  geom_text(data = ramiona, aes(x - 1.25, y, label = tekst), hjust = 0, size = 3.6, lineheight = 0.9, colour = "grey10") +
  annotate("text", x = 1.2, y = 8.75, label = "Ramiona automatu = 4 nagłówki", fontface = "bold", size = 3.9) +
  geom_rect(data = pola, aes(xmin = x - w / 2, xmax = x + w / 2, ymin = y - h / 2, ymax = y + h / 2),
            fill = c("#CFE3F2", "#F6E3B4", "grey92", "white"), colour = c("grey35", "grey35", "grey35", NA),
            linewidth = 0.4) +
  geom_text(data = pola, aes(x, y, label = tekst), size = 3.8, lineheight = 0.95, colour = "grey10") +
  geom_segment(data = strzalki, aes(x = x, y = y, xend = xend, yend = yend),
               arrow = arrow(length = unit(0.18, "cm"), type = "closed"), colour = "grey30", linewidth = 0.5) +
  annotate("text", x = 4.5, y = 3.4, label = "powtórz 20 000 razy", size = 3.6, colour = "grey30", fontface = "italic") +
  annotate("text", x = -0.1, y = 0.95, hjust = 0, size = 3.6, colour = "grey15", lineheight = 1.0,
           label = paste("Test A/B: losowo po równo przez 8000 odsłon, potem tylko zwycięzca.",
                         "Epsilon-zachłanna: z prawdopodobieństwem 0.90 najlepszy dotąd, z 0.10 losowy.",
                         "UCB1: nagłówek z najwyższą wartością CTR + √(2 ln t / n) (premia za niepewność).", sep = "\n")) +
  scale_fill_manual(values = kol_wariant, guide = "none") +
  coord_cartesian(xlim = c(-0.2, 9.8), ylim = c(0.3, 9.3)) +
  labs(title = "Wieloręki bandyta: każda odsłona to decyzja i nowa informacja") +
  motyw + theme(axis.text = element_blank(), axis.title = element_blank(), panel.grid.major = element_blank())
p1   # zapis: ggsave("wielorekie-bandyty-schemat.svg", p1, width = 10, height = 6.4)
Wynik w R
 wariant                                  tekst ctr_prawdziwy
       A             Zupa krem z dyni – przepis         0.035
       B                 Krem z dyni w 30 minut         0.040
       C Zupa z dyni, którą zjedzą nawet dzieci         0.050
       D Najprostszy krem z dyni z 5 składników         0.044

2. Funkcja symuluj() i 1000 przebiegów trzech strategii: Rysunek 2

Dane wejściowe: tabela naglowki z przepisu 1; set.seed(657). Zapisuje plik CSV z wynikami przebiegów.

Co odczytać: średni podział odsłon między nagłówki A–D, średnią liczbę kliknięć i utraconych kliknięć oraz punkty odniesienia (1000 kliknięć wyroczni, 845 przy równym podziale).

R
# Rysunek 2. Trzy strategie w 1000 przebiegach po 20 000 odsłon i jeden przebieg z bliska; wymaga przepisu 1
# Funkcja symuluje R przebiegów naraz (wektorowo): w każdym kroku każdy przebieg wybiera jeden nagłówek
symuluj <- function(strategia, mu1, mu2 = mu1, t_zmiana = Inf, T = 20000, R = 1000,
                    eps = 0.10, n_test = 8000, c_ucb = 1, gamma = 1, co = 100) {
  K <- length(mu1)
  N <- matrix(0, R, K); S <- matrix(0, R, K)      # liczba odsłon i kliknięć: wiersz = przebieg, kolumna = nagłówek
  zal <- numeric(R); wybor <- integer(R); N_test <- S_test <- NULL
  zapis <- data.frame(t = seq(co, T, by = co), zal_sr = NA, zal_p10 = NA, zal_p90 = NA, trafny = NA)
  przebieg1 <- integer(T)
  for (t in seq_len(T)) {
    mu <- if (t <= t_zmiana) mu1 else mu2           # prawdziwe CTR w chwili t
    if (strategia == "ab") {                          # test A/B: równy losowy podział, potem tylko zwycięzca
      if (t <= n_test) a <- sample.int(K, R, replace = TRUE)
      else {
        if (t == n_test + 1) { wybor <- max.col(S / N, ties.method = "random"); N_test <- N; S_test <- S }
        a <- wybor
      }
    } else if (strategia == "eps") {                  # epsilon-zachłanna
      m <- S / N; m[N == 0] <- Inf                    # nagłówek jeszcze niepokazany ma pierwszeństwo
      a <- max.col(m, ties.method = "random")
      losowo <- runif(R) < eps
      a[losowo] <- sample.int(K, sum(losowo), replace = TRUE)
    } else {                                          # UCB1: CTR + premia za niepewność
      if (t <= K) a <- rep(t, R)
      else a <- max.col(S / N + c_ucb * sqrt(2 * log(t - 1) / N), ties.method = "random")
    }
    klik <- runif(R) < mu[a]
    if (gamma < 1) { N <- gamma * N; S <- gamma * S }  # wersja z zapominaniem starszych odsłon (przepis 6)
    ia <- cbind(seq_len(R), a)
    N[ia] <- N[ia] + 1; S[ia] <- S[ia] + klik
    zal <- zal + max(mu) - mu[a]                      # żal: oczekiwane kliknięcia utracone w tej odsłonie
    przebieg1[t] <- a[1]
    if (t %% co == 0) {
      m <- S / N; m[N == 0] <- -Inf                 # wskazanie: najwyższy dotąd CTR (w teście A/B po wdrożeniu – zwycięzca)
      wsk <- if (strategia == "ab" && t > n_test) wybor else max.col(m, ties.method = "random")
      zapis[t / co, 2:5] <- c(mean(zal), quantile(zal, c(0.1, 0.9)), mean(wsk == which.max(mu)))
    }
  }
  list(zapis = zapis, N = N, S = S, zal = zal, przebieg1 = przebieg1, N_test = N_test, S_test = S_test, wybor = wybor)
}

mu <- setNames(naglowki$ctr_prawdziwy, naglowki$wariant)
set.seed(657)
wyniki <- list("Test A/B, potem zwycięzca" = symuluj("ab", mu),
               "Epsilon-zachłanna (ε = 0.10)" = symuluj("eps", mu),
               "UCB1" = symuluj("ucb", mu))

# Dane do pobrania: wynik każdego z 1000 przebiegów każdej strategii (odsłony i kliknięcia nagłówków, żal)
dane <- do.call(rbind, lapply(names(wyniki), function(s) {
  w <- wyniki[[s]]
  data.frame(strategia = s, przebieg = 1:1000, setNames(as.data.frame(w$N), paste0("odslony_", names(mu))),
             setNames(as.data.frame(w$S), paste0("klikniecia_", names(mu))), zal = round(w$zal, 3))
}))
write.csv(dane, "wielorekie-bandyty-przebiegi.csv", row.names = FALSE)

# Średni podział 20 000 odsłon między nagłówki i kliknięcia w porównaniu z „wyrocznią” (zawsze C)
podzial <- t(sapply(wyniki, function(w) round(colMeans(w$N))))
kliki <- sapply(wyniki, function(w) round(mean(rowSums(w$S)), 1))
print(cbind(podzial, sr_klikniec = kliki, sr_utraconych = round(sapply(wyniki, function(w) mean(w$zal)), 1)))
data.frame(klikniecia_wyroczni = 20000 * max(mu), klikniecia_przy_rownym_podziale = 20000 * mean(mu))

# Rysunek 2: przebieg nr 1 każdej strategii – udział nagłówków w kolejnych blokach po 500 odsłon
blok <- do.call(rbind, lapply(names(wyniki), function(s) {
  b <- ceiling(seq_len(20000) / 500)
  tab <- prop.table(table(factor(b, 1:40), factor(wyniki[[s]]$przebieg1, 1:4, names(mu))), 1)
  data.frame(strategia = s, odslona = 500 * as.numeric(rownames(tab))[row(tab)] - 250,
             wariant = colnames(tab)[col(tab)], udzial = as.vector(tab))
}))
blok$strategia <- factor(blok$strategia, levels = names(wyniki))
p2 <- ggplot(blok, aes(odslona, udzial, fill = wariant)) +
  geom_col(width = 500, colour = "white", linewidth = 0.15) +
  facet_wrap(~ strategia, ncol = 1) +
  scale_fill_manual(values = kol_wariant, labels = paste0(naglowki$wariant, " (CTR ", 100 * mu, "%)"), name = "Nagłówek:") +
  scale_x_continuous(breaks = seq(0, 20000, 4000), labels = function(x) format(x, big.mark = " ")) +
  scale_y_continuous(labels = function(x) paste0(100 * x, "%"), breaks = c(0, 0.5, 1)) +
  labs(x = "Numer odsłony", y = "Udział w bloku 500 odsłon",
       title = "Jeden przebieg każdej strategii: komu oddaje odsłony") +
  motyw
p2   # zapis: ggsave("wielorekie-bandyty-jeden-przebieg.svg", p2, width = 10, height = 7)
Wynik w R
                                                  sr_klikniec sr_utraconych
Test A/B, potem zwycięzca    2047 2409 11527 4017       918.9          78.9
Epsilon-zachłanna (ε = 0.10) 1002 2062 12376 4560       937.3          63.0
UCB1                         3944 4570  6330 5155       863.2         135.8
  klikniecia_wyroczni klikniecia_przy_rownym_podziale
1                1000                             845

3. Skumulowany żal i wrażliwość na parametry: Rysunek 3

Dane wejściowe: wyniki przepisu 2; set.seed(6571) dla pięciu dodatkowych wariantów parametrów.

Co odczytać: średni żal i percentyle P10–P90 po 2000, 8000 i 20 000 odsłon; żal z błędem standardowym i odsetek trafnych wskazań przy innych ε, długościach testu i skali premii UCB.

R
# Rysunek 3. Skumulowany żal (utracone kliknięcia) w czasie i wrażliwość na parametry strategii; wymaga przepisów 1–2
zal_t <- do.call(rbind, lapply(names(wyniki), function(s) data.frame(strategia = s, wyniki[[s]]$zapis)))
zal_t$strategia <- factor(zal_t$strategia, levels = names(wyniki))
print(subset(zal_t, t %in% c(2000, 8000, 20000), c(strategia, t, zal_sr, zal_p10, zal_p90)), row.names = FALSE, digits = 4)

# Wrażliwość: inne ε, inna długość testu A/B i UCB z premią zmniejszoną 5 razy (po 1000 przebiegów)
set.seed(6571)
warianty <- list("Test A/B, 4000 odsłon" = list("ab", n_test = 4000), "Test A/B, 12 000 odsłon" = list("ab", n_test = 12000),
                 "Epsilon-zachłanna, ε = 0.05" = list("eps", eps = 0.05), "Epsilon-zachłanna, ε = 0.20" = list("eps", eps = 0.20),
                 "UCB z premią × 0.2" = list("ucb", c_ucb = 0.2))
wrazliwosc <- do.call(rbind, lapply(names(warianty), function(n) {
  w <- do.call(symuluj, c(warianty[[n]], list(mu1 = mu)))
  data.frame(wariant = n, sr_utraconych = round(mean(w$zal), 1), se = round(sd(w$zal) / sqrt(1000), 2),
             trafny_na_koniec_proc = round(100 * tail(w$zapis$trafny, 1), 1))
}))
print(wrazliwosc, row.names = FALSE)

# Rysunek 3: średni skumulowany żal z pasmem od 10. do 90. percentyla przebiegów
konce <- subset(zal_t, t == 20000)
p3 <- ggplot(zal_t, aes(t, zal_sr, colour = strategia, fill = strategia)) +
  geom_ribbon(aes(ymin = zal_p10, ymax = zal_p90), alpha = 0.15, colour = NA) +
  geom_line(aes(linetype = strategia), linewidth = 0.9) +
  geom_vline(xintercept = 8000, colour = "grey55", linetype = "dotted") +
  annotate("text", x = 8150, y = 5, label = "koniec testu A/B", hjust = 0, size = 3.2, colour = "grey35") +
  geom_text(data = konce, aes(x = 20200, label = sprintf("%.0f", zal_sr)), hjust = 0, size = 3.5, show.legend = FALSE) +
  scale_colour_manual(values = kol_strategia, name = NULL) +
  scale_fill_manual(values = kol_strategia, name = NULL) +
  scale_linetype_manual(values = c("solid", "22", "42"), name = NULL) +
  scale_x_continuous(breaks = seq(0, 20000, 4000), labels = function(x) format(x, big.mark = " "),
                     expand = expansion(mult = c(0.01, 0.06))) +
  labs(x = "Numer odsłony", y = "Utracone kliknięcia (skumulowany żal)",
       title = "Ile kliknięć kosztuje uczenie się – średnia z 1000 przebiegów") +
  motyw
p3   # zapis: ggsave("wielorekie-bandyty-zal.svg", p3, width = 10, height = 5.8)
Wynik w R
                    strategia     t zal_sr zal_p10 zal_p90
    Test A/B, potem zwycięzca  2000  15.50  15.186   15.83
    Test A/B, potem zwycięzca  8000  62.00  61.373   62.61
    Test A/B, potem zwycięzca 20000  78.90  61.456  134.19
 Epsilon-zachłanna (ε = 0.10)  2000  11.53   2.013   21.21
 Epsilon-zachłanna (ε = 0.10)  8000  33.91   7.211   72.99
 Epsilon-zachłanna (ε = 0.10) 20000  63.01  16.820  131.22
                         UCB1  2000  14.80  14.074   15.54
                         UCB1  8000  56.94  54.231   59.55
                         UCB1 20000 135.80 129.093  142.39
                     wariant sr_utraconych   se trafny_na_koniec_proc
       Test A/B, 4000 odsłon          69.9 1.94                  68.3
     Test A/B, 12 000 odsłon         101.6 0.63                  83.4
 Epsilon-zachłanna, ε = 0.05          71.8 2.09                  70.8
 Epsilon-zachłanna, ε = 0.20          66.3 1.31                  86.1
          UCB z premią × 0.2          71.4 0.63                  96.6

4. Trafność wskazania w czasie: Rysunek 4

Dane wejściowe: wyniki przepisu 2. Niczego nie losuje.

Co odczytać: odsetek przebiegów wskazujących C z błędem Monte Carlo i rozkład wskazań po 20 000 odsłon.

R
# Rysunek 4. Odsetek przebiegów, w których strategia uznaje za najlepszy prawdziwie najlepszy nagłówek C; wymaga przepisów 1–2
traf <- do.call(rbind, lapply(names(wyniki), function(s) {
  z <- wyniki[[s]]$zapis
  data.frame(strategia = s, t = z$t, trafny = z$trafny, se = sqrt(z$trafny * (1 - z$trafny) / 1000))  # błąd Monte Carlo
}))
traf$strategia <- factor(traf$strategia, levels = names(wyniki))
print(transform(subset(traf, t %in% c(2000, 8000, 20000)), trafny = round(100 * trafny, 1), se = round(100 * se, 2)),
      row.names = FALSE)

# Który nagłówek wskazuje strategia po 20 000 odsłon (najwyższy CTR; w teście A/B – wdrożony zwycięzca)?
wybrany <- t(sapply(wyniki, function(w) {
  m <- w$S / w$N; m[w$N == 0] <- -Inf
  wsk <- if (length(w$N_test)) w$wybor else max.col(m, ties.method = "random")
  round(100 * prop.table(table(factor(wsk, 1:4, names(mu)))), 1)
}))
print(wybrany)

p4 <- ggplot(traf, aes(t, trafny, colour = strategia, fill = strategia)) +
  geom_ribbon(aes(ymin = trafny - 1.96 * se, ymax = trafny + 1.96 * se), alpha = 0.18, colour = NA) +
  geom_line(aes(linetype = strategia), linewidth = 0.9) +
  geom_hline(yintercept = 0.25, colour = "grey55", linetype = "dotted") +
  annotate("text", x = 19800, y = 0.27, label = "zgadywanie (1 z 4)", hjust = 1, size = 3.2, colour = "grey35") +
  geom_vline(xintercept = 8000, colour = "grey55", linetype = "dotted") +
  scale_colour_manual(values = kol_strategia, name = NULL) +
  scale_fill_manual(values = kol_strategia, name = NULL) +
  scale_linetype_manual(values = c("solid", "22", "42"), name = NULL) +
  scale_x_continuous(breaks = seq(0, 20000, 4000), labels = function(x) format(x, big.mark = " ")) +
  scale_y_continuous(labels = function(x) paste0(100 * x, "%"), limits = c(0, 1)) +
  labs(x = "Numer odsłony", y = "Przebiegi z poprawnym wskazaniem C",
       title = "Jak często strategia wskazuje właściwy nagłówek (pasmo: ±1.96 błędu MC)") +
  motyw
p4   # zapis: ggsave("wielorekie-bandyty-trafnosc.svg", p4, width = 10, height = 5.6)
Wynik w R
                    strategia     t trafny   se
    Test A/B, potem zwycięzca  2000   61.3 1.54
    Test A/B, potem zwycięzca  8000   79.4 1.28
    Test A/B, potem zwycięzca 20000   79.4 1.28
 Epsilon-zachłanna (ε = 0.10)  2000   47.1 1.58
 Epsilon-zachłanna (ε = 0.10)  8000   66.8 1.49
 Epsilon-zachłanna (ε = 0.10) 20000   79.9 1.27
                         UCB1  2000   58.0 1.56
                         UCB1  8000   77.7 1.32
                         UCB1 20000   93.4 0.79
                               A   B    C    D
Test A/B, potem zwycięzca    0.4 3.4 79.4 16.8
Epsilon-zachłanna (ε = 0.10) 0.2 3.1 79.9 16.8
UCB1                         0.0 0.5 93.3  6.2

5. Obciążenie średnich i pokrycie przedziałów: Rysunek 5

Dane wejściowe: wyniki przepisu 2 (także stan po fazie testu A/B). Niczego nie losuje.

Co odczytać: obciążenie średniego CTR w punktach procentowych i w procentach prawdziwej wartości, pokrycie 95% przedziału Walda, błąd MC pokrycia i obciążenie nagłówka B według liczby jego odsłon.

R
# Rysunek 5. Dlaczego bandyta utrudnia wnioskowanie: obciążone średnie i zbyt wąskie przedziały; wymaga przepisów 1–2
library(patchwork)
ocen <- function(N, S, s) {                         # CTR każdego nagłówka i 95% przedział Walda w każdym przebiegu
  p <- S / N; se <- sqrt(p * (1 - p) / N)
  pokryte <- (p - 1.96 * se <= rep(mu, each = nrow(N))) & (rep(mu, each = nrow(N)) <= p + 1.96 * se)
  data.frame(analiza = s, wariant = names(mu), sr_n = round(colMeans(N)),
             obciazenie_pp = round(100 * (colMeans(p, na.rm = TRUE) - mu), 3),
             wzgledne_proc = round(100 * (colMeans(p, na.rm = TRUE) - mu) / mu, 1),
             pokrycie_proc = round(100 * colMeans(pokryte, na.rm = TRUE), 1), row.names = NULL)
}
wn <- rbind(ocen(wyniki[[1]]$N_test, wyniki[[1]]$S_test, "Test A/B: tylko 8000 odsłon testu"),
            ocen(wyniki[[1]]$N, wyniki[[1]]$S, "Test A/B: wszystkie 20 000 odsłon"),
            ocen(wyniki[[2]]$N, wyniki[[2]]$S, names(wyniki)[2]),
            ocen(wyniki[[3]]$N, wyniki[[3]]$S, names(wyniki)[3]))
wn$analiza <- factor(wn$analiza, levels = rev(unique(wn$analiza)))
print(wn, row.names = FALSE)
cat("Błąd Monte Carlo pokrycia 95% przy 1000 przebiegów:", round(100 * sqrt(0.95 * 0.05 / 1000), 2), "pp\n")

# Odsłony nagłówka B w epsilon-zachłannej: zależą od tego, jak wypadł na początku
eB <- wyniki[[2]]
cat("Nagłówek B (ε = 0.10): mediana odsłon", median(eB$N[, 2]), "; P10–P90:", quantile(eB$N[, 2], c(0.1, 0.9)), "\n")
round(tapply(eB$S[, 2] / eB$N[, 2] - mu[2], cut(eB$N[, 2], c(0, 1000, 3000, Inf), dig.lab = 5), mean) * 100, 2)

pa <- ggplot(wn, aes(wzgledne_proc, analiza, colour = wariant, shape = wariant)) +
  geom_vline(xintercept = 0, colour = "grey40") +
  geom_point(size = 3, position = position_dodge(width = 0.6)) +
  scale_colour_manual(values = kol_wariant, name = "Nagłówek:") +
  scale_shape_manual(values = c(15, 16, 17, 18), name = "Nagłówek:") +
  labs(x = "Obciążenie średniego CTR (% prawdziwej wartości)", y = NULL, title = "A. Obciążenie średnich") + motyw
pb <- ggplot(wn, aes(pokrycie_proc, analiza, colour = wariant, shape = wariant)) +
  annotate("rect", xmin = 95 - 1.96 * 0.69, xmax = 95 + 1.96 * 0.69, ymin = -Inf, ymax = Inf, fill = "grey90") +
  geom_vline(xintercept = 95, colour = "grey40") +
  geom_point(size = 3, position = position_dodge(width = 0.6)) +
  scale_colour_manual(values = kol_wariant, name = "Nagłówek:") +
  scale_shape_manual(values = c(15, 16, 17, 18), name = "Nagłówek:") +
  labs(x = "Pokrycie przedziału 95% (%)", y = NULL, title = "B. Pokrycie przedziałów") +
  motyw + theme(axis.text.y = element_blank())
p5 <- pa + pb + plot_layout(widths = c(1.2, 1), guides = "collect") & theme(legend.position = "bottom")
p5   # zapis: ggsave("wielorekie-bandyty-wnioskowanie.svg", p5, width = 10, height = 5.6)
Wynik w R
                           analiza wariant  sr_n obciazenie_pp wzgledne_proc
 Test A/B: tylko 8000 odsłon testu       A  1999        -0.029          -0.8
 Test A/B: tylko 8000 odsłon testu       B  2001        -0.003          -0.1
 Test A/B: tylko 8000 odsłon testu       C  1999        -0.026          -0.5
 Test A/B: tylko 8000 odsłon testu       D  2001        -0.025          -0.6
 Test A/B: wszystkie 20 000 odsłon       A  2047        -0.033          -1.0
 Test A/B: wszystkie 20 000 odsłon       B  2409        -0.024          -0.6
 Test A/B: wszystkie 20 000 odsłon       C 11527        -0.103          -2.1
 Test A/B: wszystkie 20 000 odsłon       D  4017        -0.084          -1.9
      Epsilon-zachłanna (ε = 0.10)       A  1002        -0.147          -4.2
      Epsilon-zachłanna (ε = 0.10)       B  2062        -0.194          -4.8
      Epsilon-zachłanna (ε = 0.10)       C 12376        -0.211          -4.2
      Epsilon-zachłanna (ε = 0.10)       D  4560        -0.256          -5.8
                              UCB1       A  3944        -0.023          -0.7
                              UCB1       B  4570        -0.018          -0.5
                              UCB1       C  6330        -0.022          -0.4
                              UCB1       D  5155        -0.031          -0.7
 pokrycie_proc
          94.5
          95.9
          95.7
          95.0
          94.7
          96.2
          92.2
          95.2
          94.8
          93.7
          92.3
          93.9
          95.3
          94.9
          94.7
          94.6
Błąd Monte Carlo pokrycia 95% przy 1000 przebiegów: 0.69 pp
Nagłówek B (ε = 0.10): mediana odsłon 651.5 ; P10–P90: 499 5206.3 
   (0,1000] (1000,3000]  (3000,Inf] 
      -0.31        0.01        0.08 

6. Zmiana najlepszego nagłówka w czasie: Rysunek 6

Dane wejściowe: funkcja symuluj() z przepisu 2; set.seed(6572).

Co odczytać: utracone kliknięcia przed zmianą i po niej oraz odsetek przebiegów wskazujących D po 12 000 i 20 000 odsłon.

R
# Rysunek 6. Efekt zmieniający się w czasie: po 10 000 odsłon najlepszy staje się nagłówek D; wymaga przepisów 1–2
mu_po <- c(A = 0.035, B = 0.040, C = 0.038, D = 0.052)    # ustalone ręcznie: C traci, D zyskuje
set.seed(6572)
zmiana <- list("Test A/B, potem zwycięzca" = symuluj("ab", mu, mu_po, t_zmiana = 10000),
               "Epsilon-zachłanna (ε = 0.10)" = symuluj("eps", mu, mu_po, t_zmiana = 10000),
               "UCB1" = symuluj("ucb", mu, mu_po, t_zmiana = 10000),
               "Epsilon-zachłanna z zapominaniem (γ = 0.9995)" = symuluj("eps", mu, mu_po, t_zmiana = 10000, gamma = 0.9995))
zm <- do.call(rbind, lapply(names(zmiana), function(s) data.frame(strategia = s, zmiana[[s]]$zapis)))
zm$strategia <- factor(zm$strategia, levels = names(zmiana))
podsum <- do.call(rbind, lapply(names(zmiana), function(s) {
  z <- zmiana[[s]]$zapis
  data.frame(strategia = s, zal_do_10000 = round(z$zal_sr[z$t == 10000], 1),
             zal_po_zmianie = round(z$zal_sr[z$t == 20000] - z$zal_sr[z$t == 10000], 1),
             wskazuje_D_po_12000_proc = round(100 * z$trafny[z$t == 12000], 1),
             wskazuje_D_na_koniec_proc = round(100 * z$trafny[z$t == 20000], 1))
}))
print(podsum, row.names = FALSE)

kol_zm <- c(kol_strategia, "Epsilon-zachłanna z zapominaniem (γ = 0.9995)" = "#009E73")
p6a <- ggplot(zm, aes(t, zal_sr, colour = strategia, linetype = strategia)) +
  geom_vline(xintercept = 10000, colour = "grey55") +
  geom_line(linewidth = 0.9) +
  scale_colour_manual(values = kol_zm, name = NULL) +
  scale_linetype_manual(values = c("solid", "22", "42", "12"), name = NULL) +
  scale_x_continuous(breaks = seq(0, 20000, 5000), labels = function(x) format(x, big.mark = " ")) +
  labs(x = "Numer odsłony", y = "Utracone kliknięcia", title = "A. Skumulowany żal") + motyw
p6b <- ggplot(zm, aes(t, trafny, colour = strategia, linetype = strategia)) +
  geom_vline(xintercept = 10000, colour = "grey55") +
  geom_line(linewidth = 0.9) +
  scale_colour_manual(values = kol_zm, name = NULL) +
  scale_linetype_manual(values = c("solid", "22", "42", "12"), name = NULL) +
  scale_x_continuous(breaks = seq(0, 20000, 5000), labels = function(x) format(x, big.mark = " ")) +
  scale_y_continuous(labels = function(x) paste0(100 * x, "%"), limits = c(0, 1)) +
  labs(x = "Numer odsłony", y = "Wskazuje aktualnie najlepszy", title = "B. Trafność wskazania") + motyw
p6 <- p6a + p6b + plot_layout(guides = "collect") & theme(legend.position = "bottom") &
  guides(colour = guide_legend(ncol = 2), linetype = guide_legend(ncol = 2))
p6   # zapis: ggsave("wielorekie-bandyty-zmiana.svg", p6, width = 10, height = 6)
Wynik w R
                                     strategia zal_do_10000 zal_po_zmianie
                     Test A/B, potem zwycięzca         65.1          114.8
                  Epsilon-zachłanna (ε = 0.10)         39.3           87.1
                                          UCB1         70.5           92.0
 Epsilon-zachłanna z zapominaniem (γ = 0.9995)         36.8           54.3
 wskazuje_D_po_12000_proc wskazuje_D_na_koniec_proc
                     17.4                      17.4
                     26.9                      57.9
                     29.4                      83.7
                     42.7                      88.6

7. Sprawdzenie palety przy zaburzeniach widzenia barw

Dane wejściowe: pary kolorów z rysunków. Niczego nie losuje.

Co odczytać: odległość barw ΔE w przestrzeni CIELAB przy typowym widzeniu, deuteranopii i protanopii (powyżej ok. 20 pary pozostają rozróżnialne; dodatkowo na rysunkach różnią się kształty i rodzaje linii).

R
# Czy paleta przetrwa zaburzenia widzenia barw? Symulacja w pakiecie colorspace
library(colorspace)
pary <- list("pomarańczowy – zielony (nagłówki A / C)" = c("#E69F00", "#009E73"),
             "błękitny – niebieski (nagłówki B / D)" = c("#56B4E9", "#0072B2"),
             "zielony – niebieski (nagłówki C / D; też zapominanie / epsilon-zachłanna)" = c("#009E73", "#0072B2"),
             "błękitny – zielony (nagłówki B / C)" = c("#56B4E9", "#009E73"),
             "niebieski – cynober (epsilon-zachłanna / UCB1)" = c("#0072B2", "#D55E00"),
             "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
roznica <- function(k) {           # odległość barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(k), "LAB")); sqrt(sum((lab[1, ] - lab[2, ])^2))
}
round(t(sapply(pary, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(k)),
                                   protanopia = roznica(protan(k))))), 1)
Wynik w R
                                                                          widzenie_typowe
pomarańczowy – zielony (nagłówki A / C)                                              88.7
błękitny – niebieski (nagłówki B / D)                                                26.4
zielony – niebieski (nagłówki C / D; też zapominanie / epsilon-zachłanna)            70.1
błękitny – zielony (nagłówki B / C)                                                  59.5
niebieski – cynober (epsilon-zachłanna / UCB1)                                      114.6
czerwony – zielony (do unikania)                                                    121.7
                                                                          deuteranopia
pomarańczowy – zielony (nagłówki A / C)                                           66.3
błękitny – niebieski (nagłówki B / D)                                             24.7
zielony – niebieski (nagłówki C / D; też zapominanie / epsilon-zachłanna)         55.4
błękitny – zielony (nagłówki B / C)                                               48.8
niebieski – cynober (epsilon-zachłanna / UCB1)                                   108.3
czerwony – zielony (do unikania)                                                  21.1
                                                                          protanopia
pomarańczowy – zielony (nagłówki A / C)                                         51.5
błękitny – niebieski (nagłówki B / D)                                           24.6
zielony – niebieski (nagłówki C / D; też zapominanie / epsilon-zachłanna)       58.0
błękitny – zielony (nagłówki B / C)                                             51.9
niebieski – cynober (epsilon-zachłanna / UCB1)                                  91.9
czerwony – zielony (do unikania)                                                31.6

Bibliografia oprogramowania

Liczby na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (losowanie, macierze, kwantyle – pakiety base i stats). Rysunki wykonano w ggplot2 i złożono pakietem patchwork; pliki SVG zapisano pakietem svglite, a paletę sprawdzono w symulacji zaburzeń widzenia barw pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  3. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  4. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1). https://doi.org/10.18637/jss.v096.i01
  5. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Raportowanie CTR z bandyty jak z testu A/B. Średnie są zaniżone, a przedziały za wąskie (rysunek 5). Analizuj fazę z losowym, równym podziałem albo użyj estymatorów dla danych adaptacyjnych.
  • Zbyt mała eksploracja. Przy ε = 0.05 strategia częściej utyka na złym nagłówku (70.8% trafnych wskazań wobec 86.1% przy ε = 0.20).
  • Bandyta dla metryk z opóźnieniem. Jeśli kliknięcie liczy się dopiero po zakupie za tydzień, strategia przez tydzień uczy się na niepełnych danych.

Najczęstsze pytania

Czym różni się wieloręki bandyta od testu A/B?

Test A/B dzieli ruch po równo przez z góry ustalony czas, a potem wdraża zwycięzcę – najpierw tylko się uczy, potem tylko zarabia. Bandyta robi jedno i drugie naraz: po każdej odsłonie przesuwa ruch w stronę wariantu, który dotąd wypada najlepiej. W przykładzie strategia epsilon-zachłanna straciła średnio 63.0 kliknięcia, a test A/B 78.9.

Co to jest żal (regret) w problemie wielorękiego bandyty?

To suma oczekiwanych strat względem strategii, która od początku zna najlepszy wariant: przy każdej odsłonie gorszego wariantu dodajemy różnicę jego prawdziwego CTR i CTR najlepszego. Żal da się policzyć tylko w symulacji, gdzie prawdziwe wartości są znane (Bubeck i Cesa-Bianchi, 2012).

Jak dobrać epsilon w strategii epsilon-zachłannej?

Symulacją z realistycznymi CTR i horyzontem. W przykładzie ε = 0.05 dało 71.8 utraconego kliknięcia i 70.8% trafnych wskazań, ε = 0.10 – 63.0 i 79.9%, a ε = 0.20 – 66.3 i 86.1%. Mała eksploracja grozi utknięciem na złym wariancie, duża – stałą stratą na słabych wariantach.

Czy po teście bandyckim można policzyć przedział ufności dla CTR?

Zwykły przedział Walda bywa wtedy mylący: liczba odsłon wariantu zależy od jego wcześniejszych wyników, więc średnie są zaniżone, a pokrycie spada (w przykładzie do 92.3%). Użyj estymatorów dla danych zebranych adaptacyjnie (Hadad i in., 2021) albo zrób test potwierdzający z równym podziałem.

Dlaczego UCB1 traci tyle kliknięć przy niskim CTR?

Premia za niepewność √(2 ln t / n) jest skrojona na nagrody z przedziału od 0 do 1 i przy CTR rzędu 5% wielokrotnie przewyższa różnice między wariantami, więc UCB1 długo pokazuje słabe nagłówki. W przykładzie pomniejszenie premii pięciokrotnie obniżyło żal ze 135.8 do 71.4 kliknięć.

Powiązane hasła

Przeczytaj też

Piszesz pracę o eksperymentach online?

Pomożemy zaplanować test A/B lub porównanie strategii przydziału, przeprowadzić symulację i opisać wyniki tak, żebyś umiał(a) je obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Besbes, O., Gur, Y., & Zeevi, A. (2019). Optimal exploration–exploitation in a multi-armed bandit problem with non-stationary rewards. Stochastic Systems, 9(4), 319–337. https://doi.org/10.1287/stsy.2019.0033 ● Otwarty dostęp
  2. Bubeck, S., & Cesa-Bianchi, N. (2012). Regret analysis of stochastic and nonstochastic multi-armed bandit problems. Foundations and Trends in Machine Learning, 5(1), 1–122. https://doi.org/10.1561/2200000024 ● Otwarty dostęp: pełny tekst
  3. Hadad, V., Hirshberg, D. A., Zhan, R., Wager, S., & Athey, S. (2021). Confidence intervals for policy evaluation in adaptive experiments. Proceedings of the National Academy of Sciences, 118(15), Article e2014602118. https://doi.org/10.1073/pnas.2014602118 ● Otwarty dostęp
  4. Johari, R., Koomen, P., Pekelis, L., & Walsh, D. (2022). Always valid inference: Continuous monitoring of A/B tests. Operations Research, 70(3), 1806–1821. https://doi.org/10.1287/opre.2021.2135
  5. Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). Controlled experiments on the web: Survey and practical guide. Data Mining and Knowledge Discovery, 18(1), 140–181. https://doi.org/10.1007/s10618-008-0114-1 ● Otwarty dostęp
  6. Robbins, H. (1952). Some aspects of the sequential design of experiments. Bulletin of the American Mathematical Society, 58(5), 527–535. https://doi.org/10.1090/s0002-9904-1952-09620-8 ● Otwarty dostęp
  7. Villar, S. S., Bowden, J., & Wason, J. (2015). Multi-armed bandit models for the optimal design of clinical trials: Benefits and challenges. Statistical Science, 30(2), 199–215. https://doi.org/10.1214/14-sts504 ● Otwarty dostęp

Cytowania BibTeX

@article{besbes2019optimal, author={Besbes, Omar and Gur, Yonatan and Zeevi, Assaf}, title={{Optimal exploration–exploitation in a multi-armed bandit problem with non-stationary rewards}}, journal={Stochastic Systems}, year={2019}, volume={9}, number={4}, pages={319--337}, doi={10.1287/stsy.2019.0033}}
@article{bubeck2012regret, author={Bubeck, Sébastien and Cesa-Bianchi, Nicolò}, title={{Regret analysis of stochastic and nonstochastic multi-armed bandit problems}}, journal={Foundations and Trends in Machine Learning}, year={2012}, volume={5}, number={1}, pages={1--122}, doi={10.1561/2200000024}}
@article{hadad2021confidence, author={Hadad, Vitor and Hirshberg, David A. and Zhan, Ruohan and Wager, Stefan and Athey, Susan}, title={{Confidence intervals for policy evaluation in adaptive experiments}}, journal={Proceedings of the National Academy of Sciences}, year={2021}, volume={118}, number={15}, eid={e2014602118}, doi={10.1073/pnas.2014602118}}
@article{johari2022always, author={Johari, Ramesh and Koomen, Pete and Pekelis, Leonid and Walsh, David}, title={{Always valid inference: Continuous monitoring of A/B tests}}, journal={Operations Research}, year={2022}, volume={70}, number={3}, pages={1806--1821}, doi={10.1287/opre.2021.2135}}
@article{kohavi2009controlled, author={Kohavi, Ron and Longbotham, Roger and Sommerfield, Dan and Henne, Randal M.}, title={{Controlled experiments on the web: Survey and practical guide}}, journal={Data Mining and Knowledge Discovery}, year={2009}, volume={18}, number={1}, pages={140--181}, doi={10.1007/s10618-008-0114-1}}
@article{robbins1952some, author={Robbins, Herbert}, title={{Some aspects of the sequential design of experiments}}, journal={Bulletin of the American Mathematical Society}, year={1952}, volume={58}, number={5}, pages={527--535}, doi={10.1090/s0002-9904-1952-09620-8}}
@article{villar2015multi, author={Villar, Sofía S. and Bowden, Jack and Wason, James}, title={{Multi-armed bandit models for the optimal design of clinical trials: Benefits and challenges}}, journal={Statistical Science}, year={2015}, volume={30}, number={2}, pages={199--215}, doi={10.1214/14-sts504}}
R