Statystyka · Marketing

Modelowanie uplift – komu wysłać kupon, żeby kampania naprawdę coś zmieniła

Fikcyjny sklep z grami planszowymi, kupon wysłany losowo połowie z 20 000 klientów i sześć rysunków z R: cztery typy klientów, efekt w podgrupach, T-learner i las przyczynowy, krzywa Qini i zysk kampanii – z gotowymi zdaniami do pracy.

Strona główna / Blog / Modelowanie uplift
W skrócie: Uplift to różnica prawdopodobieństw zakupu z kuponem i bez kuponu u klientów o danych cechach – szacuje się go z eksperymentu z grupą kontrolną. W przykładzie kupon podniósł odsetek kupujących średnio o 4.15 pp, ale u klientów kupujących bez rabatów obniżył go o 4.59 pp. Wybór adresatów według prawdopodobieństwa zakupu trafia w pewniaków i daje stratę; wybór według upliftu (T-learner, las przyczynowy) daje zysk. Modele porównuj krzywą Qini i krzywą zysku na zbiorze testowym.

Przykład: sklep z grami planszowymi i kupon na 15 zł

Fikcyjny sklep internetowy z grami planszowymi ma 20 000 klientów w bazie mailowej. Dział marketingu chce wysłać kupon „15 zł rabatu na zamówienie w ciągu 14 dni” i pyta: komu wysłać kupon, żeby sprzedaż wzrosła bardziej, niż kosztuje rabat? Zwykle wybiera się klientów, którzy „najchętniej kupią”. Pokażemy, dlaczego to błąd i jak oszacować, u kogo kupon zmienia decyzję – to modelowanie uplift (ang. uplift modeling). Przewidywanie samego zdarzenia, np. odejścia klienta, opisuje wpis model przewidywania odejść klientów, a inne projekty z marketingu – statystyka w pracy z marketingu.

Punktem wyjścia jest eksperyment. Sklep wysłał kupon losowo połowie bazy (9980 osób), a druga połowa (10 020) nic nie dostała – to zwykły test A/B, w którym o grupie decyduje randomizacja. Wynik to zakup w ciągu 14 dni (tak/nie). Cechy klienta: dni od ostatniego zamówienia, liczba zamówień w roku, udział zamówień z rabatem, odsetek otwieranych newsletterów i korzystanie z aplikacji.

Dane są fikcyjne, więc znamy prawdę. Dla każdego klienta ustaliliśmy ręcznie dwa prawdopodobieństwa zakupu: bez kuponu i z kuponem. Kupon działa najsilniej na klientów, którzy lubią rabaty, czytają maile i kupili ostatnio 25–160 dni temu. Stałym klientom kupującym bez rabatów (co najmniej 2 zamówienia w roku) mail z kuponem obniża prawdopodobieństwo zakupu nawet o 12 pp. Ten ujemny efekt wzmocniliśmy (z −10 do −12 pp i od 2 zamiast od 3 zamówień) po pierwszym uruchomieniu, bo grupa „nie przeszkadzać” liczyła tylko 0.6% klientów. Ziarno 609 ustalono raz i nie zmieniano go. Dane pobierzesz jako uplift-kupon-klienci.csv (kolumny prawdziwy_uplift i typ są „z symulacji” – w prawdziwych danych ich nie ma).

Rysunek 1: cztery typy klientów

Każdy klient ma dwa potencjalne wyniki: co zrobiłby z kuponem i co bez niego. Widzimy zawsze tylko jeden – to podstawowa idea modelu potencjalnych wyników. Dwa wyniki tak/nie dają cztery typy klientów.

Grafika 2 na 2 z czterema kartami typów klientów: kolumny – czy klient kupi bez kuponu, wiersze – czy kupi z kuponem; pomarańczowa karta przekonywalnych 986 klientów (4.9%) z działaniem wyślij kupon, niebieska karta pewniaków 2262 (11.3%), jasnoszara karta straconych 16507 (82.5%), różowa karta „nie przeszkadzać” 245 (1.2%) z działaniem nie wysyłaj
Rysunek 1. Cztery typy klientów wobec kuponu. R, ggplot2 (dane symulowane, set.seed(609)).

Co widać. Kupon dodaje sprzedaż tylko u przekonywalnych: 986 osób, 4.9% bazy. Pewniaków (2262, 11.3%) jest ponad dwa razy więcej – kupią i tak, a kupon zabiera im 15 zł z marży sklepu. Ogromna większość to straceni (82.5%). Najmniejsza, ale kosztowna grupa to „nie przeszkadzać” (245 osób, 1.2%): bez maila kupiliby, z mailem nie.

Jak może zmylić. Typu pojedynczego klienta nie da się zaobserwować – tego, co zrobiłby w drugiej grupie, nigdy nie zobaczymy. Liczebności na rysunku znamy tylko dlatego, że dane są symulowane. W prawdziwych danych szacujemy coś łatwiejszego: uplift, czyli różnicę prawdopodobieństw zakupu z kuponem i bez kuponu u klientów o danych cechach x:

uplift(x) = P(zakup | kupon, x) − P(zakup | brak kuponu, x)

W języku wnioskowania przyczynowego to CATE – warunkowy przeciętny efekt. Uplift równy +0.20 znaczy: na 100 takich klientów kupon daje 20 dodatkowych zakupów. Średni prawdziwy uplift w bazie wynosi 3.6 pp, u 34.6% klientów przekracza 5 pp, a u 15.7% jest niższy niż −2 pp.

Podpis do pracy:

Rysunek 1. Cztery typy klientów według potencjalnych wyników: zakupu bez kuponu i z kuponem. Uwaga. Liczebności z symulacji (N = 20 000), w której oba potencjalne wyniki są znane; w danych rzeczywistych typ pojedynczego klienta jest nieobserwowalny.

Rysunek 2: wynik eksperymentu – średnio i w podgrupach

Wykres punktowy efektu kuponu w punktach procentowych z 95% przedziałami: cała baza +4.1, rabaty do 15% −4.6, rabaty 16–35% +2.5, rabaty ponad 35% +10.8, ostatni zakup do 30 dni +1.3 z przedziałem obejmującym zero, 31–150 dni +6.0, ponad 150 dni +2.0; pomarańczowe krzyżyki prawdziwych efektów leżą w każdym przedziale
Rysunek 2. Efekt kuponu w całej bazie i w podgrupach wybranych z góry. R, ggplot2 (dane symulowane).

Co widać. W całej bazie kupiło 16.4% osób z kuponem i 12.26% bez kuponu. Efekt kuponu to +4.15 pp, 95% CI [3.18, 5.12], χ²(1) = 70.1, p < .001 (to test dla dwóch proporcji w wersji chi-kwadrat). U klientów, których ponad 35% zamówień było z rabatem, efekt wynosi +10.8 pp. U klientów kupujących prawie bez rabatów (do 15% zamówień) jest ujemny: −4.6 pp, 95% CI [−6.26, −2.92]. U kupujących w ostatnich 30 dniach przedział obejmuje zero (+1.3 pp). Prawdziwe efekty (krzyżyki) leżą w każdym przedziale.

Jak może zmylić. Podgrupy wybraliśmy z góry, po dwie cechy i trzy przedziały. Gdy przegląda się dziesiątki podziałów i opisuje tylko te „istotne”, pojawia się problem wielokrotnych porównań. Efekt zależny od kilku cech naraz wykryją dopiero modele uplift.

Podpis do pracy:

Rysunek 2. Efekt kuponu (różnica odsetków klientów kupujących w ciągu 14 dni: grupa z kuponem minus grupa bez kuponu) w całej bazie i w podgrupach zdefiniowanych przed analizą (N = 20 000). Uwaga. Odcinki – 95% przedziały ufności; krzyżyki – prawdziwy średni efekt w symulacji.

Zdanie do Wyników:

Kupon zwiększył odsetek klientów kupujących w ciągu 14 dni z 12.26% do 16.40% (różnica 4.15 pp, 95% CI [3.18, 5.12]; χ²(1) = 70.1, p < .001). Efekt był największy wśród klientów, których ponad 35% zamówień obejmowało rabat (10.77 pp, 95% CI [9.13, 12.41]), a wśród klientów kupujących zwykle bez rabatu był ujemny (−4.59 pp, 95% CI [−6.26, −2.92]).

Trzy sposoby wyboru klientów

Klientów losowo dzielimy na połowę uczącą i testową (po 10 000). Modele budujemy na uczącej, oceniamy na testowej – jak przy walidacji krzyżowej.

  1. Model samej odpowiedzi. Regresja logistyczna przewiduje zakup wśród klientów, którzy dostali kupon.
  2. T-learner (dwa modele). Dwie regresje logistyczne o tej samej postaci: jedna na klientach z kuponem, druga na klientach bez kuponu. Uplift to różnica ich prognoz. Gdy model służy do wyboru działania, trzeba modelować zmianę prawdopodobieństwa wywołaną działaniem, a nie samo prawdopodobieństwo (Rzepakowski i Jaroszewicz, 2012). Künzel i in. (2019) opisują T-learner jako jeden z metaalgorytmów, które dowolną metodę regresji zamieniają w estymator CATE. W symulacjach żaden z nich nie był najlepszy we wszystkich warunkach.
  3. Las przyczynowy. Las z pakietu grf szuka podziałów, które najbardziej różnicują efekt, a nie sam zakup (Wager i Athey, 2018; Athey i in., 2019). Działa jak las losowy, ale w liściach liczy różnicę „kupon minus brak kuponu”. Podajemy mu prawdopodobieństwo kuponu 0.5, bo kupon losowano.

Las szacuje średni efekt w zbiorze uczącym na 4.64 pp (SE = 0.68), zgodnie z eksperymentem.

Rysunek 3: czy modele odgadują uplift?

Dwa panele wykresów rozrzutu dla 500 klientów testowych: prawdziwy uplift na osi poziomej, prognoza na pionowej; punkty układają się wzdłuż przerywanej przekątnej, r = .86 dla T-learnera i r = .84 dla lasu przyczynowego; przy prawdziwym uplifcie 0 pionowa kolumna punktów z prognozami różnymi od zera
Rysunek 3. Prognoza upliftu a prawdziwy uplift w zbiorze testowym. R, grf, ggplot2 (dane symulowane, set.seed(609)).

Co widać. Prognozy obu modeli uplift rosną razem z prawdziwym upliftem. Korelacja z prawdą w całym zbiorze testowym wynosi r = .86 dla T-learnera i r = .84 dla lasu. Wynik modelu samej odpowiedzi koreluje z prawdziwym upliftem słabiej (r = .54), a mocno z tym, czy klient kupiłby bez kuponu (r = .74).

Jak może zmylić. Pionowa „kolumna” punktów przy zerze to klienci bez efektu, którym modele przypisują efekty różne od zera. Modele dobrze porządkują grupy klientów, ale pojedyncze prognozy są niepewne. W prawdziwych danych takiego wykresu nie narysujesz – stąd krzywa Qini.

Podpis do pracy:

Rysunek 3. Prognozowany a prawdziwy efekt kuponu (uplift) dla 500 losowo wybranych klientów ze zbioru testowego. Uwaga. Lewy panel – T-learner (dwie regresje logistyczne z naturalnymi splajnami), prawy – las przyczynowy (grf, 2000 drzew). Linia przerywana – prognoza równa prawdziwemu efektowi; r – korelacja w całym zbiorze testowym (n = 10 000). Dane symulowane.

Rysunek 4: krzywa Qini na zbiorze testowym

Krzywą Qini liczy się bez znajomości prawdy. Sortujemy klientów testowych od najwyższego wyniku modelu. Dla górnych k% liczymy z eksperymentu różnicę odsetków zakupu z kuponem i bez kuponu i mnożymy ją przez liczbę klientów w tej grupie. Wychodzi liczba dodatkowych zakupów, gdyby kupon dostało tych k% klientów. To kuzyn wykresu gain: tam liczymy zdarzenia, tu – zdarzenia dodatkowe, wywołane działaniem.

Krzywe Qini: oś pozioma odsetek klientów z kuponem od 0 do 100%, oś pionowa dodatkowe zakupy; niebieska krzywa T-learnera i pomarańczowa lasu przyczynowego biegną blisko szarej przerywanej wyroczni, rosną do około 500 dodatkowych zakupów przy 70% klientów i opadają do 385 przy 100%; różowa kropkowo-kreskowa krzywa modelu samej odpowiedzi leży niżej, około 400; kropkowana przekątna wyboru losowego od 0 do 385
Rysunek 4. Krzywa Qini na zbiorze testowym. R, ggplot2 (dane symulowane).

Co widać. Kupon dla wszystkich daje 385 dodatkowych zakupów. Gdy kupon dostaje 20% klientów, T-learner daje 283 dodatkowe zakupy, las 264, a model samej odpowiedzi 226. Krzywe uplift rosną do ok. 500 przy 70% klientów, a potem spadają – w ogonie są klienci „nie przeszkadzać”. Wysokość krzywej nad przekątną, uśredniona po wszystkich k i odniesiona do wyroczni (sortowania po prawdziwym uplifcie), wynosi 93.2% dla T-learnera, 80.7% dla lasu i 57.9% dla modelu odpowiedzi.

Jak może zmylić. Krzywa jest „poszarpana”, bo w każdej grupie porównujemy dwie losowe połowy. Devriendt i in. (2018) w przeglądzie metod uplift stwierdzili, że wyniki modeli silnie różnią się między zbiorami danych i między podpróbami, a miary Qini nie mówią wprost o praktycznej użyteczności. Przewaga T-learnera nad lasem dotyczy tylko tego przykładu: ukryte zależności są gładkie i pasują do regresji ze splajnami.

Podpis do pracy:

Rysunek 4. Krzywe Qini dla trzech sposobów wyboru klientów w zbiorze testowym (n = 10 000). Uwaga. Oś pozioma – odsetek klientów z najwyższym wynikiem modelu; oś pionowa – szacowana liczba dodatkowych zakupów, gdyby kupon otrzymali ci klienci (różnica odsetków zakupu między grupą z kuponem i bez kuponu pomnożona przez liczebność grupy). Linia kropkowana – wybór losowy; linia przerywana – sortowanie według prawdziwego efektu (znanego w symulacji).

Zdanie do Wyników:

W zbiorze testowym wysłanie kuponu do 20% klientów wybranych przez T-learner dawało szacunkowo 283 dodatkowe zakupy, przez las przyczynowy – 264, a przez model samej odpowiedzi – 226 (kupon dla wszystkich: 385). Pole pod krzywą Qini nad wyborem losowym wynosiło odpowiednio 93.2%, 80.7% i 57.9% wartości dla wyboru według prawdziwego efektu.

Rysunek 5: ile zarobi kampania?

Przyjęliśmy (ręcznie): zamówienie daje 40 zł marży, każdy zakup z kuponem kosztuje 15 zł rabatu, a mail 0.10 zł. Zysk z wysłania kuponu grupie klientów to 40 zł × dodatkowe zakupy − 15 zł × wszystkie zakupy z kuponem − koszt maili.

Krzywe zysku w tysiącach złotych w zależności od odsetka klientów z kuponem: pomarańczowa krzywa lasu przyczynowego i niebieska T-learnera rosną do około 2.2 i 1.6 tys. zł przy 27–29% klientów, potem spadają poniżej zera po około 60% i do około −11 tys. zł przy 100%; różowa krzywa modelu samej odpowiedzi od początku leży poniżej zera; cienkie linie oszacowań z eksperymentu biegną blisko grubych
Rysunek 5. Zysk kampanii w zależności od odsetka klientów z kuponem. R, ggplot2 (dane symulowane).

Co widać. Kupon dla wszystkich 10 000 klientów testowych to strata 11 153 zł (prawdziwa; oszacowanie z eksperymentu: −9736 zł). Model samej odpowiedzi traci od pierwszych procentów: przy 20% klientów −1885 zł. Jego najlepszy wybór to nie wysyłać nikomu. Modele uplift zarabiają: najwięcej las przyczynowy (2211 zł przy 27% klientów) i T-learner (1639 zł przy 29%). Wyrocznia znająca prawdziwy uplift zarobiłaby 4008 zł.

Jak może zmylić. Przy 20% klientów kolejność modeli uplift jest odwrotna niż na krzywej Qini (las 2033 zł, T-learner 1451 zł), bo zysk zależy też od tego, ilu pewniaków trafi do wybranej grupy. Najlepszy próg odczytany z tego samego zbioru testowego jest zbyt optymistyczny – ustal go na osobnych danych albo w kolejnym teście.

Podpis do pracy:

Rysunek 5. Zysk kampanii kuponowej w zależności od odsetka klientów, do których wysłano kupon, wybranych według trzech modeli (zbiór testowy, n = 10 000). Uwaga. Zysk = 40 zł × dodatkowe zakupy − 15 zł × zakupy z kuponem − 0.10 zł × liczba maili. Grube linie – zysk obliczony z prawdziwych prawdopodobieństw (symulacja); cienkie – oszacowanie z danych eksperymentu.

Rysunek 6: kogo wybiera model?

Poziome skumulowane słupki udziału typów klientów: w całym zbiorze testowym przekonywalni 5%, pewniacy 11%, straceni 83%; wśród 20% wybranych przez model samej odpowiedzi przekonywalni 11%, pewniacy 21%; przez T-learner 14% i 17%; przez las przyczynowy 14% i 15%; reszta to straceni
Rysunek 6. Prawdziwe typy klientów wśród 20% wybranych przez każdy model. R, ggplot2 (dane symulowane).

Co widać. W całym zbiorze testowym przekonywalni to 4.9%. Wśród 20% klientów wybranych przez modele uplift jest ich 13.7% (T-learner) i 14.1% (las), a przez model odpowiedzi – 10.7%. Model odpowiedzi bierze za to najwięcej pewniaków: 21.3% wobec 15.1% u lasu. Jego wybrani kupiliby bez kuponu średnio w 22.6%, wybrani przez las – w 15.7%. Grupy „nie przeszkadzać” nie wybrał żaden model.

Jak może zmylić. Nawet najlepszy wybór to w ok. 70% straceni, a o zysku decydują też koszty każdej grupy. Ten sam mechanizm opisała Ascarza (2018) przy kampaniach retencyjnych: klienci o najwyższym ryzyku odejścia nie musieli być najlepszymi adresatami, a wybór według wrażliwości na działanie okazał się skuteczniejszy. Dlatego w modelu przewidywania odejść prognoza ryzyka to dopiero pierwszy krok.

Podpis do pracy:

Rysunek 6. Udział czterech typów klientów wśród 20% klientów zbioru testowego z najwyższym wynikiem każdego modelu oraz w całym zbiorze testowym (n = 10 000). Uwaga. Typy wyznaczono z potencjalnych wyników znanych w symulacji.

Co z tym zrobić w marketingu

  • Zawsze zostaw grupę kontrolną (np. 10% bazy losowo bez kuponu) – bez niej uplift jest niemierzalny.
  • Kupon dla łowców rabatów, którzy „stygną” (rabaty w ponad 35% zamówień, 31–150 dni od zakupu, otwierają maile) – tu efekt jest największy.
  • Nie wysyłaj kuponu stałym klientom kupującym bez rabatów. Lepszy będzie mail z zapowiedzią nowości albo żaden (zob. segmentacja klientów).
  • Licz zysk, nie zakupy – krzywą zysku dla własnej marży i wartości kuponu.
  • Sprawdź model w kolejnej kampanii: połowa bazy wybrana przez model, połowa losowo, w obu grupach część bez kuponu. Kontrolowany eksperyment to najlepszy sposób ustalenia, czy zmiana wpływa na zachowanie klientów (Kohavi i in., 2009). Typowe błędy takich testów opisuje wpis pułapki testów A/B na obrazkach.

Jak opisać w pracy

W Metodzie opisz eksperyment, podział na zbiory, modele i miarę oceny; w Wynikach – średni efekt z przedziałem ufności, krzywą Qini i zysk. Gdy kupon nie był losowany, modele uplift nie wystarczą – potrzebne są metody dla danych obserwacyjnych, np. propensity score.

Kupon o wartości 15 zł wysłano losowo połowie z 20 000 klientów sklepu (n = 9980); pozostali (n = 10 020) stanowili grupę kontrolną. Zmienną zależną był zakup w ciągu 14 dni. Klientów losowo podzielono na zbiór uczący i testowy (po 10 000). Efekt kuponu na poziomie klienta (uplift) oszacowano dwiema metodami: T-learnerem (dwie regresje logistyczne z naturalnymi splajnami, osobno w grupie z kuponem i bez kuponu) oraz lasem przyczynowym (pakiet grf, 2000 drzew). Punktem odniesienia był model samej odpowiedzi (regresja logistyczna zakupu w grupie z kuponem). Modele oceniono na zbiorze testowym krzywą Qini i zyskiem kampanii (marża 40 zł, rabat 15 zł, koszt maila 0.10 zł).

W tabeli podaj dla każdego modelu dodatkowe zakupy przy kilku progach, współczynnik Qini i zysk. W Ograniczeniach napisz, że wynik dotyczy jednej kampanii.

Przykład reprodukowalny

Kod R: eksperyment, modele uplift, krzywa Qini i zysk

Kod odtwarza wszystkie liczby z tekstu i sześć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy paletę, motyw i dane, z których korzystają kolejne. Modele to glm() z naturalnymi splajnami ns() (pakiet splines dołączony do R) i causal_forest() z pakietu grf; krzywą Qini i zysk liczy kilka wierszy bazowego R. Każdy przepis z rysunkiem kończy się nazwą wykresu (p1–p6), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów p1–p6, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne.

Losują przepisy 1 (dane) i 3 (podział na zbiory, las przyczynowy, wybór punktów do rysunku); każde losowanie zaczyna się od własnego set.seed(609), a las ma też argument seed = 609. Ziarno 609 ustalono raz i nie zmieniano go. Ręcznie ustalono: 20 000 klientów i rozkłady ich cech (dni od zakupu: 1 + gamma(1.3; 70), najwyżej 365; zamówienia: Poisson ze średnią exp(1.1 − dni/150); udział rabatów: beta(1.3; 2.6); otwieranie maili: beta(1.6; 3); aplikacja: 35%), współczynniki prawdopodobieństwa zakupu bez kuponu, funkcję efektu kuponu (do 0.22 × (0.5 + otwieranie maili) dla lubiących rabaty w oknie 25–160 dni, −0.12 dla stałych klientów bez rabatów – ujemny efekt wzmocniony z −0.10 po pierwszym uruchomieniu), kupon dla połowy klientów, podział 50/50, liczby stopni swobody splajnów, 2000 drzew, kwoty 40 zł, 15 zł i 0.10 zł oraz 500 punktów na rysunku 3 (ze względu na rozmiar pliku). Całość liczy się w ok. 10 sekund.

1. Paleta, dane i cztery typy klientów: Rysunek 1

Dane wejściowe: nic – 20 000 klientów losuje kod (parametry ustalone ręcznie, set.seed(609)). Na początku paleta Okabe–Ito i motyw motyw, z których korzystają kolejne przepisy. Kod zapisuje plik CSV w katalogu roboczym.

Co odczytać: liczebność grup, średni prawdziwy uplift, odsetek klientów z upliftem powyżej 5 pp i poniżej −2 pp oraz liczebności czterech typów.

R
# Rysunek 1. Fikcyjny sklep z grami planszowymi: kupon e-mail wysłany losowo połowie klientów (dane symulowane)
library(ggplot2)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw
kol <- c(niebieski = "#0072B2", cynober = "#D55E00", pomarancz = "#E69F00", zielony = "#009E73",
         fiolet = "#CC79A7", szary = "grey60", ciemny = "grey20")
motyw <- theme_minimal(base_size = 13) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        strip.text = element_text(face = "bold", colour = "#0f1d3a"), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))

set.seed(609)                                   # ziarno ustalone raz, bez dobierania pod wynik
N <- 20000
klienci <- data.frame(
  id = seq_len(N),
  dni_od_zakupu = pmin(365, round(rgamma(N, shape = 1.3, scale = 70)) + 1),   # dni od ostatniego zamówienia
  aplikacja = rbinom(N, 1, 0.35),                                            # 1 = korzysta z aplikacji sklepu
  udzial_rabatow = round(rbeta(N, 1.3, 2.6), 2),                             # część zamówień z rabatem
  otwieranie_maili = round(rbeta(N, 1.6, 3), 2))                             # część otwieranych newsletterów
klienci$zamowienia <- rpois(N, exp(1.1 - klienci$dni_od_zakupu / 150))      # zamówienia w ostatnim roku

# Prawdziwe prawdopodobieństwo zakupu w 14 dni bez kuponu (p_bez), z kuponem (p_z) i efekt kuponu (tau) – ustalone ręcznie
p_bez <- with(klienci, plogis(-2.6 + 0.32 * pmin(zamowienia, 6) - 0.006 * dni_od_zakupu + 0.35 * aplikacja +
                           0.8 * otwieranie_maili))
tau <- with(klienci,
  0.22 * plogis((udzial_rabatow - 0.35) / 0.06) *                         # kupon działa na lubiących rabaty…
    plogis((dni_od_zakupu - 25) / 8) * plogis((160 - dni_od_zakupu) / 25) *  # …którzy „stygną” (25–160 dni)…
    (0.5 + otwieranie_maili) -                                             # …i czytają maile
  0.12 * plogis((0.15 - udzial_rabatow) / 0.03) * (zamowienia >= 2))      # stali klienci bez rabatów: mail szkodzi
p_z <- pmin(pmax(p_bez + tau, 0.002), 0.98)                                    # prawdopodobieństwo zakupu z kuponem
klienci$prawdziwy_uplift <- round(p_z - p_bez, 4)

# Potencjalne wyniki: ta sama osoba bez kuponu (Y0) i z kuponem (Y1); jedna liczba losowa u na osobę
u <- runif(N)
Y0 <- as.integer(u < p_bez); Y1 <- as.integer(u < p_z)
klienci$typ <- factor(ifelse(Y0 == 1 & Y1 == 1, "pewniacy", ifelse(Y0 == 0 & Y1 == 1, "przekonywalni",
                      ifelse(Y0 == 1 & Y1 == 0, "nie przeszkadzać", "straceni"))),
                      levels = c("przekonywalni", "pewniacy", "straceni", "nie przeszkadzać"))
klienci$kupon <- rbinom(N, 1, 0.5)                                         # losowanie: kupon dla połowy
klienci$zakup <- ifelse(klienci$kupon == 1, Y1, Y0)                        # widzimy tylko jeden z dwóch wyników
klienci$p_bez <- p_bez; klienci$p_z <- p_z

write.csv(klienci[, c("id", "dni_od_zakupu", "zamowienia", "udzial_rabatow", "otwieranie_maili", "aplikacja",
                      "kupon", "zakup", "prawdziwy_uplift", "typ")],
          "uplift-kupon-klienci.csv", row.names = FALSE)
c(klienci = N, z_kuponem = sum(klienci$kupon), bez_kuponu = sum(1 - klienci$kupon))
round(c(sredni_prawdziwy_uplift_pp = 100 * mean(p_z - p_bez), uplift_dodatni_pow_5pp = 100 * mean(p_z - p_bez > 0.05),
        uplift_ujemny_pon_minus2pp = 100 * mean(p_z - p_bez < -0.02)), 1)
typy <- as.data.frame(table(typ = klienci$typ))
typy$procent <- round(100 * typy$Freq / N, 1)
typy

# Rysunek 1: karty czterech typów klientów (grafika z prostokątów i tekstu, bez danych na osiach)
karty <- data.frame(typ = levels(klienci$typ),
                    x = c(0, 1, 0, 1), y = c(1, 1, 0, 0),            # kolumna: zakup BEZ kuponu nie/tak; wiersz: Z kuponem tak/nie
                    bez = c("nie", "tak", "nie", "tak"), z = c("tak", "tak", "nie", "nie"))
karty$n <- typy$Freq; karty$proc <- typy$procent
karty$naglowek <- sprintf("%s · %d klientów (%.1f%%)", c("Przekonywalni", "Pewniacy", "Straceni", "Nie przeszkadzać"),
                          karty$n, karty$proc)
karty$opis <- c("Z kuponem kupią, bez kuponu nie.\nTylko tu kupon dodaje sprzedaż.",
                "Kupią tak czy inaczej.\nKupon = oddany rabat.",
                "Nie kupią ani z kuponem, ani bez.\nKupon = koszt maila.",
                "Bez maila kupiliby, z mailem nie.\nKupon szkodzi.")
karty$dzialanie <- paste0("Działanie: ", c("WYŚLIJ kupon", "nie wysyłaj (strata marży)",
                                            "nie wysyłaj (szkoda budżetu)", "NIE WYSYŁAJ"))
karty$kolor <- c(kol[["cynober"]], kol[["niebieski"]], "#D9D9D9", kol[["fiolet"]])
karty$kolor_tekstu <- c("white", "white", "#0f1d3a", "white")   # ciemny tekst na jasnoszarym nagłówku
s <- 0.47
p1 <- ggplot(karty) +
  geom_rect(aes(xmin = x - s, xmax = x + s, ymin = y - 0.44, ymax = y + 0.44), fill = "white",
            colour = "grey70", linewidth = 0.6) +
  geom_rect(aes(xmin = x - s, xmax = x + s, ymin = y + 0.28, ymax = y + 0.44, fill = kolor), colour = NA) +
  geom_text(aes(x = x - s + 0.04, y = y + 0.36, label = naglowek, colour = kolor_tekstu), hjust = 0, fontface = "bold",
            size = 5) +
  geom_text(aes(x = x - s + 0.04, y = y + 0.2, label = sprintf("Bez kuponu: %s · z kuponem: %s", bez, z)),
            hjust = 0, vjust = 1, size = 4.5, colour = "grey30") +
  geom_text(aes(x = x - s + 0.04, y = y + 0.06, label = opis), hjust = 0, vjust = 1, size = 4.8,
            lineheight = 1.05, colour = "grey15") +
  geom_text(aes(x = x - s + 0.04, y = y - 0.3, label = dzialanie), hjust = 0, size = 4.8,
            fontface = "bold.italic", colour = "#0f1d3a") +
  annotate("text", x = c(0, 1), y = 1.53, label = c("BEZ kuponu: nie kupi", "BEZ kuponu: kupi"),
           fontface = "bold", size = 4.8, colour = "#0f1d3a") +
  annotate("text", x = -0.56, y = c(1, 0), label = c("Z kuponem: kupi", "Z kuponem: nie kupi"), angle = 90,
           fontface = "bold", size = 4.8, colour = "#0f1d3a") +
  scale_fill_identity() + scale_colour_identity() +
  coord_cartesian(xlim = c(-0.62, 1.5), ylim = c(-0.47, 1.6), expand = FALSE) +
  labs(title = "Cztery typy klientów wobec kuponu",
       subtitle = "Liczebności z fikcyjnych danych (20 000 klientów) – znane tylko dlatego, że dane są symulowane") +
  motyw + theme(axis.text = element_blank(), axis.title = element_blank(), panel.grid.major = element_blank())
p1   # zapis: ggsave("uplift-cztery-typy-klientow.svg", p1, width = 10, height = 7.4)
Wynik w R
   klienci  z_kuponem bez_kuponu 
     20000       9980      10020 
sredni_prawdziwy_uplift_pp     uplift_dodatni_pow_5pp 
                       3.6                       34.6 
uplift_ujemny_pon_minus2pp 
                      15.7 
               typ  Freq procent
1    przekonywalni   986     4.9
2         pewniacy  2262    11.3
3         straceni 16507    82.5
4 nie przeszkadzać   245     1.2

2. Wynik eksperymentu w całej bazie i w podgrupach: Rysunek 2

Dane wejściowe: klienci z przepisu 1. Niczego nie losuje.

Co odczytać: odsetki zakupu z kuponem i bez, efekt z 95% przedziałem, test χ² oraz efekty w sześciu podgrupach obok prawdziwego średniego efektu.

R
# Rysunek 2. Wynik eksperymentu: efekt kuponu w całej bazie i w prostych podgrupach (korzysta z klienci z przepisu 1)
library(ggplot2)

# Różnica odsetków zakupu (kupon − brak) z 95% przedziałem ufności (przybliżenie normalne)
roznica <- function(d) {
  t1 <- d$zakup[d$kupon == 1]; t0 <- d$zakup[d$kupon == 0]
  r <- mean(t1) - mean(t0)
  se <- sqrt(mean(t1) * (1 - mean(t1)) / length(t1) + mean(t0) * (1 - mean(t0)) / length(t0))
  data.frame(n = nrow(d), z_kuponem = 100 * mean(t1), bez_kuponu = 100 * mean(t0), efekt = 100 * r,
             dolna = 100 * (r - 1.96 * se), gorna = 100 * (r + 1.96 * se), prawdziwy = 100 * mean(d$prawdziwy_uplift))
}
calosc <- roznica(klienci)
round(calosc, 2)
test <- chisq.test(table(klienci$kupon, klienci$zakup), correct = FALSE)
c(chi2 = round(unname(test$statistic), 1), df = unname(test$parameter), p_ponizej_001 = test$p.value < .001)

# Te same liczby w podgrupach zdefiniowanych z góry (dwie cechy po trzy przedziały)
klienci$grupa_rabaty <- cut(klienci$udzial_rabatow, c(-Inf, 0.15, 0.35, Inf),
                            labels = c("rabaty: do 15%", "rabaty: 16–35%", "rabaty: ponad 35%"))
klienci$grupa_dni <- cut(klienci$dni_od_zakupu, c(-Inf, 30, 150, Inf),
                         labels = c("ost. zakup: do 30 dni", "ost. zakup: 31–150 dni", "ost. zakup: ponad 150 dni"))
pod <- rbind(cbind(cecha = "Udział zamówień z rabatem", grupa = levels(klienci$grupa_rabaty),
                   do.call(rbind, lapply(split(klienci, klienci$grupa_rabaty), roznica))),
             cbind(cecha = "Dni od ostatniego zakupu", grupa = levels(klienci$grupa_dni),
                   do.call(rbind, lapply(split(klienci, klienci$grupa_dni), roznica))),
             cbind(cecha = "Wszyscy", grupa = "cała baza", calosc))
pod$grupa <- factor(pod$grupa, rev(pod$grupa))
pod$cecha <- factor(pod$cecha, c("Wszyscy", "Udział zamówień z rabatem", "Dni od ostatniego zakupu"))
print(cbind(pod[, c("grupa", "n")], round(pod[, c("z_kuponem", "bez_kuponu", "efekt", "dolna", "gorna", "prawdziwy")], 2)),
      row.names = FALSE)

p2 <- ggplot(pod, aes(y = grupa)) +
  geom_vline(xintercept = 0, colour = "grey40") +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0.25, orientation = "y", colour = kol[["niebieski"]],
                linewidth = 0.8) +
  geom_point(aes(x = efekt, shape = "oszacowanie z eksperymentu (95% CI)"), colour = kol[["niebieski"]], size = 3.2) +
  geom_point(aes(x = prawdziwy, shape = "prawdziwy średni efekt (znany w symulacji)"), colour = kol[["cynober"]],
             size = 3.4, stroke = 1.3) +
  geom_text(aes(x = gorna, label = sub("-", "−", sprintf("%+.1f pp", efekt))), hjust = -0.25, size = 4, colour = "grey20") +
  scale_shape_manual(values = c(16, 4), name = NULL) +
  facet_grid(cecha ~ ., scales = "free_y", space = "free_y") +
  scale_x_continuous(limits = c(-8, 16), breaks = seq(-8, 16, 2)) +
  labs(title = "Efekt kuponu: zakupy z kuponem minus bez kuponu",
       subtitle = "Różnica odsetków kupujących w 14 dni, punkty procentowe (pp)", x = "Efekt kuponu (pp)", y = NULL) +
  motyw + theme(strip.text.y = element_blank(), legend.direction = "vertical")   # panele tylko oddzielają cechy
p2   # zapis: ggsave("uplift-efekt-w-podgrupach.svg", p2, width = 10, height = 6.4)
Wynik w R
      n z_kuponem bez_kuponu efekt dolna gorna prawdziwy
1 20000      16.4      12.26  4.15  3.18  5.12      3.58
         chi2            df p_ponizej_001 
         70.1           1.0           1.0 
                     grupa     n z_kuponem bez_kuponu efekt dolna gorna
            rabaty: do 15%  4999      7.95      12.54 -4.59 -6.26 -2.92
            rabaty: 16–35%  6776     14.37      11.88  2.49  0.89  4.10
         rabaty: ponad 35%  8225     23.16      12.38 10.77  9.13 12.41
     ost. zakup: do 30 dni  4530     20.77      19.51  1.26 -1.08  3.59
    ost. zakup: 31–150 dni 11775     18.16      12.16  6.01  4.72  7.30
 ost. zakup: ponad 150 dni  3695      5.52       3.52  2.00  0.66  3.33
                 cała baza 20000     16.40      12.26  4.15  3.18  5.12
 prawdziwy
     -4.77
      1.79
     10.14
      0.28
      5.58
      1.28
      3.58

3. Model odpowiedzi, T-learner i las przyczynowy: Rysunek 3

Dane wejściowe: klienci z przepisu 1. Podział na zbiór uczący i testowy oraz wybór 500 punktów do rysunku zaczynają się od set.seed(609); las dostaje seed = 609.

Co odczytać: liczebność zbiorów, średni efekt z lasu i korelację wyniku każdego modelu z prawdziwym upliftem i z prawdopodobieństwem zakupu bez kuponu.

R
# Rysunek 3. Trzy modele na zbiorze uczącym, ocena na testowym (korzysta z klienci, kol, motyw z przepisu 1)
library(ggplot2)
library(splines)   # naturalne splajny ns() – pakiet dołączony do R
library(grf)       # las przyczynowy

set.seed(609)                                    # losowy podział: połowa klientów do uczenia, połowa do testu
ucz <- sort(sample(nrow(klienci), nrow(klienci) / 2))
U <- klienci[ucz, ]; Te <- klienci[-ucz, ]
wzor <- zakup ~ ns(dni_od_zakupu, 4) + ns(pmin(zamowienia, 6), 3) + ns(udzial_rabatow, 4) +
                ns(otwieranie_maili, 3) + aplikacja

# (a) Model samej odpowiedzi: kto kupuje PO kuponie (tylko klienci z kuponem)
m_odp <- glm(wzor, family = binomial, data = U[U$kupon == 1, ])
# (b) T-learner: dwa osobne modele – z kuponem i bez kuponu; uplift = różnica prognoz
m_z   <- glm(wzor, family = binomial, data = U[U$kupon == 1, ])
m_bez <- glm(wzor, family = binomial, data = U[U$kupon == 0, ])
# (c) Las przyczynowy: szuka różnic w efekcie, a nie w samym zakupie; W.hat = 0.5, bo kupon losowano
cechy <- c("dni_od_zakupu", "zamowienia", "udzial_rabatow", "otwieranie_maili", "aplikacja")
las <- causal_forest(as.matrix(U[, cechy]), U$zakup, U$kupon, W.hat = 0.5, num.trees = 2000, seed = 609)

Te$wynik_odpowiedz <- predict(m_odp, Te, type = "response")
Te$uplift_t <- predict(m_z, Te, type = "response") - predict(m_bez, Te, type = "response")
Te$uplift_las <- predict(las, as.matrix(Te[, cechy]))$predictions
c(uczacy = nrow(U), testowy = nrow(Te))
round(average_treatment_effect(las) * 100, 2)          # ATE z lasu (zbiór uczący), pp
zgodnosc <- sapply(Te[, c("wynik_odpowiedz", "uplift_t", "uplift_las")], function(s)
  c(r_z_prawdziwym_upliftem = cor(s, Te$prawdziwy_uplift),
    r_z_prawdopodobienstwem_bez_kuponu = cor(s, Te$p_bez)))
round(zgodnosc, 3)

# Rysunek 3: prognoza upliftu a prawdziwy uplift (500 losowych klientów testowych, żeby plik był lekki)
set.seed(609)
pokaz <- Te[sample(nrow(Te), 500), ]
d3 <- rbind(data.frame(model = "T-learner (dwie regresje logistyczne)", prawdziwy = pokaz$prawdziwy_uplift,
                       prognoza = pokaz$uplift_t, typ = pokaz$typ),
            data.frame(model = "Las przyczynowy (grf)", prawdziwy = pokaz$prawdziwy_uplift,
                       prognoza = pokaz$uplift_las, typ = pokaz$typ))
d3$model <- factor(d3$model, unique(d3$model))
etyk <- data.frame(model = factor(levels(d3$model), levels(d3$model)),
                   tekst = sprintf("r = %s", sub("^0", "", sprintf("%.2f", zgodnosc[1, c("uplift_t", "uplift_las")]))))
p3 <- ggplot(d3, aes(prawdziwy * 100, prognoza * 100)) +
  geom_hline(yintercept = 0, colour = "grey60") + geom_vline(xintercept = 0, colour = "grey60") +
  geom_point(colour = kol[["niebieski"]], alpha = 0.45, size = 1.6, shape = 16) +
  geom_abline(slope = 1, intercept = 0, colour = kol[["cynober"]], linetype = "dashed", linewidth = 0.9) +
  geom_text(data = etyk, aes(x = -11, y = 30, label = tekst), hjust = 0, size = 5, colour = "grey15",
            inherit.aes = FALSE) +
  facet_wrap(~ model) +
  coord_cartesian(xlim = c(-12, 32), ylim = c(-20, 34)) +
  labs(title = "Prognoza upliftu a prawdziwy uplift (zbiór testowy)",
       subtitle = "Punkt = klient; linia przerywana: prognoza równa prawdzie",
       x = "Prawdziwy uplift (pp, znany w symulacji)", y = "Prognoza upliftu z modelu (pp)") +
  motyw
p3   # zapis: ggsave("uplift-prognoza-a-prawda.svg", p3, width = 10, height = 5.6)
Wynik w R
 uczacy testowy 
  10000   10000 
estimate  std.err 
    4.64     0.68 
                                   wynik_odpowiedz uplift_t uplift_las
r_z_prawdziwym_upliftem                      0.536    0.863      0.845
r_z_prawdopodobienstwem_bez_kuponu           0.741    0.077      0.068

4. Krzywa Qini: Rysunek 4

Dane wejściowe: zbiór testowy Te z prognozami z przepisu 3. Niczego nie losuje.

Co odczytać: dodatkowe zakupy przy kuponie dla wszystkich, przy 20% i 40% klientów, maksimum krzywej i współczynnik Qini jako procent wyroczni.

R
# Rysunek 4. Krzywa Qini na zbiorze testowym (korzysta z Te, kol, motyw z przepisów 1 i 3)
library(ggplot2)

# Dla każdego odsetka k klientów z najwyższym wynikiem modelu: ile dodatkowych zakupów dałby kupon dla nich?
# Oszacowanie z eksperymentu w tej grupie: (odsetek zakupów z kuponem − bez kuponu) × liczba klientów w grupie
krzywa <- function(wynik, d, k = seq(0, 1, by = 0.01)) {
  o <- order(wynik, decreasing = TRUE)
  t <- d$kupon[o]; y <- d$zakup[o]; prawda <- d$prawdziwy_uplift[o]; pz <- d$p_z[o]
  do.call(rbind, lapply(k, function(f) {
    m <- round(f * nrow(d))
    if (m == 0) return(data.frame(k = 0, dodatkowe = 0, dodatkowe_prawda = 0, r_z = NA, r_bez = NA, m = 0,
                                  suma_pz = 0))
    r_z <- mean(y[1:m][t[1:m] == 1]); r_bez <- mean(y[1:m][t[1:m] == 0])
    data.frame(k = f, dodatkowe = (r_z - r_bez) * m, dodatkowe_prawda = sum(prawda[1:m]), r_z = r_z,
               r_bez = r_bez, m = m, suma_pz = sum(pz[1:m]))
  }))
}
modele <- c("Model samej odpowiedzi" = "wynik_odpowiedz", "T-learner" = "uplift_t",
            "Las przyczynowy" = "uplift_las", "Prawdziwy uplift (wyrocznia)" = "prawdziwy_uplift")
Q <- do.call(rbind, lapply(names(modele), function(nm) cbind(model = nm, krzywa(Te[[modele[nm]]], Te))))
Q$model <- factor(Q$model, names(modele))
calosc_test <- with(Te, (mean(zakup[kupon == 1]) - mean(zakup[kupon == 0])) * nrow(Te))
# Współczynnik Qini: średnia wysokość krzywej nad przekątną losowego wyboru, jako % tej wielkości dla wyroczni
pole <- tapply(Q$dodatkowe - Q$k * calosc_test, Q$model, mean)
round(c(kupon_dla_wszystkich_dodatkowe_zakupy = calosc_test), 0)
tab4 <- data.frame(dodatkowe_przy_20proc = Q$dodatkowe[Q$k == 0.2], dodatkowe_przy_40proc = Q$dodatkowe[Q$k == 0.4],
                   maksimum = tapply(Q$dodatkowe, Q$model, max),
                   k_maksimum = tapply(seq_len(nrow(Q)), Q$model, function(i) Q$k[i][which.max(Q$dodatkowe[i])]),
                   qini_proc_wyroczni = 100 * pole / pole[["Prawdziwy uplift (wyrocznia)"]], row.names = names(modele))
round(tab4, 1)

p4 <- ggplot(Q, aes(k * 100, dodatkowe, colour = model, linetype = model)) +
  annotate("segment", x = 0, y = 0, xend = 100, yend = calosc_test, colour = "grey50", linetype = "dotted",
           linewidth = 0.8) +
  annotate("text", x = 75, y = 0.75 * calosc_test - 30, label = "wybór losowy", hjust = 0, size = 4, colour = "grey35") +
  geom_line(linewidth = 1.1) +
  scale_colour_manual(values = c(kol[["fiolet"]], kol[["niebieski"]], kol[["cynober"]], "#595959"), name = NULL) +
  scale_linetype_manual(values = c("dotdash", "solid", "solid", "dashed"), name = NULL) +
  scale_x_continuous(breaks = seq(0, 100, 20), labels = function(x) paste0(x, "%")) +
  guides(colour = guide_legend(nrow = 2), linetype = guide_legend(nrow = 2)) +
  labs(title = "Krzywa Qini: dodatkowe zakupy, gdy kupon dostaje k% klientów",
       subtitle = "Zbiór testowy, 10 000 klientów; klienci posortowani od najwyższego wyniku modelu",
       x = "Odsetek klientów, którym wysyłamy kupon (od najwyżej ocenionych)",
       y = "Dodatkowe zakupy (oszacowanie z eksperymentu)") +
  motyw + theme(legend.key.width = unit(1.4, "cm"))
p4   # zapis: ggsave("uplift-krzywa-qini.svg", p4, width = 10, height = 6.2)
Wynik w R
kupon_dla_wszystkich_dodatkowe_zakupy 
                                  385 
                             dodatkowe_przy_20proc dodatkowe_przy_40proc
Model samej odpowiedzi                       225.5                 387.9
T-learner                                    282.5                 449.0
Las przyczynowy                              263.5                 421.6
Prawdziwy uplift (wyrocznia)                 322.6                 483.1
                             maksimum k_maksimum qini_proc_wyroczni
Model samej odpowiedzi          408.2        0.5               57.9
T-learner                       517.9        0.7               93.2
Las przyczynowy                 491.1        0.7               80.7
Prawdziwy uplift (wyrocznia)    528.3        0.8              100.0

5. Zysk kampanii: Rysunek 5

Dane wejściowe: krzywe Q z przepisu 4 i trzy ręcznie ustalone kwoty (marża, rabat, mail). Niczego nie losuje.

Co odczytać: zysk przy 20% klientów (oszacowany i prawdziwy), najlepszy odsetek klientów i najwyższy prawdziwy zysk, zysk przy kuponie dla wszystkich.

R
# Rysunek 5. Zysk kampanii w funkcji odsetka klientów z kuponem (korzysta z Q, modele z przepisu 4)
library(ggplot2)

marza <- 40      # zł zysku z jednego zamówienia (ustalone ręcznie)
kupon_zl <- 15   # zł rabatu oddanego przy każdym zakupie z kuponem
mail_zl <- 0.1   # zł kosztu wysłania jednego maila
# Zysk = marża × dodatkowe zakupy − rabat × wszystkie zakupy z kuponem − koszt maili
Q$zysk <- with(Q, marza * dodatkowe - kupon_zl * ifelse(m > 0, r_z * m, 0) - mail_zl * m)
Q$zysk_prawda <- with(Q, marza * dodatkowe_prawda - kupon_zl * suma_pz - mail_zl * m)
tab5 <- t(sapply(split(Q, Q$model), function(d) c(
  zysk_20proc = d$zysk[d$k == 0.2], zysk_prawda_20proc = d$zysk_prawda[d$k == 0.2],
  najlepszy_k_prawda = 100 * d$k[which.max(d$zysk_prawda)], zysk_prawda_max = max(d$zysk_prawda),
  zysk_wszyscy = d$zysk[d$k == 1], zysk_prawda_wszyscy = d$zysk_prawda[d$k == 1])))
round(tab5, 0)

d5 <- Q[Q$model != "Prawdziwy uplift (wyrocznia)", ]
p5 <- ggplot(d5, aes(k * 100, zysk_prawda / 1000, colour = model, linetype = model)) +
  geom_hline(yintercept = 0, colour = "grey40") +
  geom_line(aes(y = zysk / 1000), linewidth = 0.5, alpha = 0.6, show.legend = FALSE) +
  geom_line(linewidth = 1.2) +
  scale_colour_manual(values = c(kol[["fiolet"]], kol[["niebieski"]], kol[["cynober"]]), name = NULL) +
  scale_linetype_manual(values = c("dotdash", "solid", "solid"), name = NULL) +
  scale_x_continuous(breaks = seq(0, 100, 20), labels = function(x) paste0(x, "%")) +
  labs(title = "Zysk kampanii: komu wysłać kupon?",
       subtitle = "Grube linie – prawdziwy zysk (znany w symulacji); cienkie – oszacowanie z eksperymentu",
       x = "Odsetek klientów, którym wysyłamy kupon (od najwyżej ocenionych)",
       y = "Zysk na 10 000 klientów (tys. zł)") +
  motyw + theme(legend.key.width = unit(1.4, "cm"))
p5   # zapis: ggsave("uplift-zysk-kampanii.svg", p5, width = 10, height = 6)
Wynik w R
                             zysk_20proc zysk_prawda_20proc najlepszy_k_prawda
Model samej odpowiedzi              -884              -1885                  0
T-learner                           1863               1451                 29
Las przyczynowy                     1690               2033                 27
Prawdziwy uplift (wyrocznia)        3937               3733                 27
                             zysk_prawda_max zysk_wszyscy zysk_prawda_wszyscy
Model samej odpowiedzi                     0        -9736              -11153
T-learner                               1639        -9736              -11153
Las przyczynowy                         2211        -9736              -11153
Prawdziwy uplift (wyrocznia)            4008        -9736              -11153

6. Kogo wybiera model: Rysunek 6

Dane wejściowe: Te i modele z przepisów 3–4. Niczego nie losuje.

Co odczytać: udział typów wśród 20% wybranych klientów, ich średni prawdziwy uplift i prawdopodobieństwo zakupu bez kuponu.

R
# Rysunek 6. Kogo wybiera każdy model? Prawdziwe typy wśród 20% klientów z najwyższym wynikiem (korzysta z Te, modele)
library(ggplot2)

gora <- function(wynik) Te$typ[order(wynik, decreasing = TRUE)[1:(0.2 * nrow(Te))]]
sklad <- rbind(cbind(wybor = "Cały zbiór testowy (dla porównania)", as.data.frame(prop.table(table(typ = Te$typ)))),
               do.call(rbind, lapply(names(modele)[1:3], function(nm)
                 cbind(wybor = nm, as.data.frame(prop.table(table(typ = gora(Te[[modele[nm]]]))))))))
sklad$procent <- round(100 * sklad$Freq, 1)
sklad$wybor <- factor(sklad$wybor, rev(c("Cały zbiór testowy (dla porównania)", names(modele)[1:3])))
xtabs(procent ~ wybor + typ, sklad)[4:1, ]
# Średni prawdziwy uplift (pp) i prawdopodobieństwo zakupu bez kuponu (%) w wybranych 20%
round(sapply(modele[1:3], function(s) { i <- order(Te[[s]], decreasing = TRUE)[1:2000]
  c(uplift_pp = 100 * mean(Te$prawdziwy_uplift[i]), zakup_bez_kuponu_proc = 100 * mean(Te$p_bez[i])) }), 1)

p6 <- ggplot(sklad, aes(procent, wybor, fill = typ)) +
  geom_col(width = 0.65, colour = "white", linewidth = 0.4, position = position_stack(reverse = TRUE)) +
  geom_text(aes(label = ifelse(procent >= 4, sprintf("%.0f%%", procent), "")), position = position_stack(vjust = 0.5, reverse = TRUE),
            colour = ifelse(sklad$typ == "straceni", "#0f1d3a", "white"), fontface = "bold", size = 4.2) +
  scale_fill_manual(values = c(przekonywalni = kol[["cynober"]], pewniacy = kol[["niebieski"]],
                               straceni = "#D9D9D9", "nie przeszkadzać" = kol[["fiolet"]]), name = NULL) +
  scale_x_continuous(labels = function(x) paste0(x, "%"), expand = c(0, 0)) +
  labs(title = "Kogo wybiera model? Typy klientów w górnych 20%",
       subtitle = "Zbiór testowy (10 000 klientów); typy znane tylko dlatego, że dane są symulowane",
       x = "Udział typów klientów", y = NULL) +
  motyw + theme(panel.grid.major.y = element_blank())
p6   # zapis: ggsave("uplift-kogo-wybiera-model.svg", p6, width = 10, height = 5)
Wynik w R
                                     typ
wybor                                 przekonywalni pewniacy straceni
  Cały zbiór testowy (dla porównania)           4.9     11.1     82.8
  Model samej odpowiedzi                       10.7     21.3     67.9
  T-learner                                    13.7     17.0     69.3
  Las przyczynowy                              14.1     15.1     70.8
                                     typ
wybor                                 nie przeszkadzać
  Cały zbiór testowy (dla porównania)              1.1
  Model samej odpowiedzi                           0.0
  T-learner                                        0.0
  Las przyczynowy                                  0.0
                      Model samej odpowiedzi T-learner Las przyczynowy
uplift_pp                               10.2      13.7            13.9
zakup_bez_kuponu_proc                   22.6      17.3            15.7

7. Sprawdzenie palety (deuteranopia, protanopia)

Dane wejściowe: pary kolorów użyte na rysunkach.

Co odczytać: odległość barw ΔE przy typowym widzeniu i w symulacji zaburzeń; para czerwony–zielony dla porównania.

R
# Czy paleta przetrwa zaburzenia widzenia barw? Symulacja w pakiecie colorspace
library(colorspace)
pary <- list("cynober – niebieski (przekonywalni / pewniacy; las / T-learner)" = c("#D55E00", "#0072B2"),
             "cynober – fiolet (przekonywalni / nie przeszkadzać; las / model odpowiedzi)" = c("#D55E00", "#CC79A7"),
             "niebieski – fiolet (pewniacy / nie przeszkadzać; T-learner / model odpowiedzi)" = c("#0072B2", "#CC79A7"),
             "fiolet – jasnoszary (nie przeszkadzać / straceni)" = c("#CC79A7", "#D9D9D9"),
             "fiolet – ciemnoszary (model odpowiedzi / wyrocznia na krzywej Qini)" = c("#CC79A7", "#595959"),
             "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
roznica <- function(k) {           # odległość barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(k), "LAB")); sqrt(sum((lab[1, ] - lab[2, ])^2))
}
round(t(sapply(pary, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(k)),
                                   protanopia = roznica(protan(k))))), 1)
Wynik w R
                                                                               widzenie_typowe
cynober – niebieski (przekonywalni / pewniacy; las / T-learner)                          114.6
cynober – fiolet (przekonywalni / nie przeszkadzać; las / model odpowiedzi)               74.3
niebieski – fiolet (pewniacy / nie przeszkadzać; T-learner / model odpowiedzi)            53.6
fiolet – jasnoszary (nie przeszkadzać / straceni)                                         47.5
fiolet – ciemnoszary (model odpowiedzi / wyrocznia na krzywej Qini)                       46.2
czerwony – zielony (do unikania)                                                         121.7
                                                                               deuteranopia
cynober – niebieski (przekonywalni / pewniacy; las / T-learner)                       108.3
cynober – fiolet (przekonywalni / nie przeszkadzać; las / model odpowiedzi)            70.2
niebieski – fiolet (pewniacy / nie przeszkadzać; T-learner / model odpowiedzi)         42.0
fiolet – jasnoszary (nie przeszkadzać / straceni)                                      24.9
fiolet – ciemnoszary (model odpowiedzi / wyrocznia na krzywej Qini)                    26.1
czerwony – zielony (do unikania)                                                       21.1
                                                                               protanopia
cynober – niebieski (przekonywalni / pewniacy; las / T-learner)                      91.9
cynober – fiolet (przekonywalni / nie przeszkadzać; las / model odpowiedzi)          71.9
niebieski – fiolet (pewniacy / nie przeszkadzać; T-learner / model odpowiedzi)       22.5
fiolet – jasnoszary (nie przeszkadzać / straceni)                                    33.6
fiolet – ciemnoszary (model odpowiedzi / wyrocznia na krzywej Qini)                  26.6
czerwony – zielony (do unikania)                                                     31.6

Bibliografia oprogramowania

Liczby na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (losowanie, regresja logistyczna, test χ² – pakiety base i stats; splajny – pakiet splines dołączony do R; las przyczynowy – pakiet grf). Rysunki wykonano w ggplot2, pliki SVG zapisano pakietem svglite, a paletę sprawdzono w symulacji zaburzeń widzenia barw pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. grf (wersja 2.6.1): Tibshirani, J., Athey, S., Sverdrup, E., & Wager, S. (2026). grf: Generalized random forests (R package version 2.6.1) [Computer software]. https://doi.org/10.32614/CRAN.package.grf
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  4. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1). https://doi.org/10.18637/jss.v096.i01
  5. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Wybór według prawdopodobieństwa zakupu. Trafia w pewniaków i oddaje im rabat (rysunki 5 i 6). Wysoka prognoza zakupu to nie wysoki efekt kuponu.
  • Uplift bez losowania. Gdy kupon dostali np. najaktywniejsi klienci, różnica „z kuponem minus bez” miesza efekt kuponu z różnicami między klientami – zob. korelacja a przyczynowość.
  • Ocena na danych uczących. Krzywa Qini policzona na tych samych klientach, na których uczono model, jest zawyżona – to przeuczenie.
  • Za mała próba. Uplift to różnica dwóch odsetków w każdej grupie klientów, więc jest dużo bardziej zaszumiony niż sam zakup. Nawet przy 10 000 klientów testowych krzywa Qini jest wyraźnie poszarpana (rysunek 4).
  • Jedna interakcja zamiast modelu. Efekt interakcji „kupon × cecha” wystarcza, gdy z góry wiesz, od czego zależy efekt; przy wielu cechach lepszy jest T-learner albo las.
  • Zapomniana grupa „nie przeszkadzać”. Ujemny efekt jest realny: u klientów kupujących prawie bez rabatów kupon obniżył odsetek kupujących o 4.59 pp (rysunek 2).

Pomoc przy takiej analizie: analizy statystyczne dla studentów.

Najczęstsze pytania

Czym różni się model uplift od zwykłego modelu predykcyjnego?

Zwykły model przewiduje, czy klient kupi (albo odejdzie). Model uplift przewiduje, o ile zmieni się ta szansa, jeśli klient dostanie ofertę. W przykładzie model samej odpowiedzi wybierał klientów, którzy kupiliby także bez kuponu (21.3% pewniaków wśród wybranych 20%), i przy żadnym progu nie dawał zysku, a modele uplift dawały do 2211 zł zysku na 10 000 klientów.

Czy do modelowania uplift potrzebna jest grupa kontrolna?

Tak. Uplift to różnica między klientami z ofertą i bez oferty, więc potrzebni są podobni klienci w obu grupach – najlepiej z losowego przydziału jak w teście A/B. Bez losowania różnica miesza efekt oferty z różnicami między klientami i potrzebne są metody dla danych obserwacyjnych, np. propensity score.

Co to jest krzywa Qini?

Krzywa Qini pokazuje, ile dodatkowych zdarzeń (np. zakupów) daje działanie skierowane do k% klientów z najwyższym przewidywanym upliftem. Dodatkowe zdarzenia szacuje się z eksperymentu jako różnicę odsetków w grupie z ofertą i bez oferty pomnożoną przez liczebność grupy. Im wyżej krzywa nad przekątną wyboru losowego, tym lepiej model porządkuje klientów. Licz ją na zbiorze testowym.

Co to jest T-learner?

T-learner to dwa osobne modele przewidujące wynik: jeden na osobach, które dostały ofertę, drugi na osobach bez oferty. Przewidywany efekt to różnica ich prognoz. Künzel i in. (2019) opisują go wśród metaalgorytmów szacujących heterogeniczny efekt dowolną metodą regresji; w ich symulacjach żaden metaalgorytm nie był najlepszy zawsze.

Kim są klienci „nie przeszkadzać” (sleeping dogs)?

To klienci, którzy bez kontaktu kupiliby, a po kontakcie rezygnują – oferta działa na nich negatywnie. W przykładzie było ich 1.2%, a wśród klientów kupujących prawie bez rabatów kupon obniżył odsetek kupujących o 4.59 pp. Dobry model uplift przypisuje im ujemny efekt, więc nie trafiają na listę wysyłki.

Powiązane hasła

Przeczytaj też

Masz w pracy dane z kampanii lub testu A/B?

Pomożemy oszacować efekt kampanii, zbudować i ocenić model uplift oraz opisać wyniki tak, żebyś umiał(a) je obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Ascarza, E. (2018). Retention futility: Targeting high-risk customers might be ineffective. Journal of Marketing Research, 55(1), 80–98. https://doi.org/10.1509/jmr.16.0163 ● Otwarty dostęp: pełny tekst
  2. Athey, S., Tibshirani, J., & Wager, S. (2019). Generalized random forests. The Annals of Statistics, 47(2), 1148–1178. https://doi.org/10.1214/18-aos1709 ● Otwarty dostęp
  3. Devriendt, F., Moldovan, D., & Verbeke, W. (2018). A literature survey and experimental evaluation of the state-of-the-art in uplift modeling: A stepping stone toward the development of prescriptive analytics. Big Data, 6(1), 13–41. https://doi.org/10.1089/big.2017.0104
  4. Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). Controlled experiments on the web: Survey and practical guide. Data Mining and Knowledge Discovery, 18(1), 140–181. https://doi.org/10.1007/s10618-008-0114-1 ● Otwarty dostęp
  5. Künzel, S. R., Sekhon, J. S., Bickel, P. J., & Yu, B. (2019). Metalearners for estimating heterogeneous treatment effects using machine learning. Proceedings of the National Academy of Sciences, 116(10), 4156–4165. https://doi.org/10.1073/pnas.1804597116 ● Otwarty dostęp
  6. Rzepakowski, P., & Jaroszewicz, S. (2012). Decision trees for uplift modeling with single and multiple treatments. Knowledge and Information Systems, 32(2), 303–327. https://doi.org/10.1007/s10115-011-0434-0 ● Otwarty dostęp
  7. Wager, S., & Athey, S. (2018). Estimation and inference of heterogeneous treatment effects using random forests. Journal of the American Statistical Association, 113(523), 1228–1242. https://doi.org/10.1080/01621459.2017.1319839 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@article{ascarza2018retention, author={Ascarza, Eva}, title={{Retention futility: Targeting high-risk customers might be ineffective}}, journal={Journal of Marketing Research}, year={2018}, volume={55}, number={1}, pages={80--98}, doi={10.1509/jmr.16.0163}}
@article{athey2019generalized, author={Athey, Susan and Tibshirani, Julie and Wager, Stefan}, title={{Generalized random forests}}, journal={The Annals of Statistics}, year={2019}, volume={47}, number={2}, pages={1148--1178}, doi={10.1214/18-aos1709}}
@article{devriendt2018literature, author={Devriendt, Floris and Moldovan, Darie and Verbeke, Wouter}, title={{A literature survey and experimental evaluation of the state-of-the-art in uplift modeling: A stepping stone toward the development of prescriptive analytics}}, journal={Big Data}, year={2018}, volume={6}, number={1}, pages={13--41}, doi={10.1089/big.2017.0104}}
@article{kohavi2009controlled, author={Kohavi, Ron and Longbotham, Roger and Sommerfield, Dan and Henne, Randal M.}, title={{Controlled experiments on the web: Survey and practical guide}}, journal={Data Mining and Knowledge Discovery}, year={2009}, volume={18}, number={1}, pages={140--181}, doi={10.1007/s10618-008-0114-1}}
@article{kunzel2019metalearners, author={Künzel, Sören R. and Sekhon, Jasjeet S. and Bickel, Peter J. and Yu, Bin}, title={{Metalearners for estimating heterogeneous treatment effects using machine learning}}, journal={Proceedings of the National Academy of Sciences}, year={2019}, volume={116}, number={10}, pages={4156--4165}, doi={10.1073/pnas.1804597116}}
@article{rzepakowski2012decision, author={Rzepakowski, Piotr and Jaroszewicz, Szymon}, title={{Decision trees for uplift modeling with single and multiple treatments}}, journal={Knowledge and Information Systems}, year={2012}, volume={32}, number={2}, pages={303--327}, doi={10.1007/s10115-011-0434-0}}
@article{wager2018estimation, author={Wager, Stefan and Athey, Susan}, title={{Estimation and inference of heterogeneous treatment effects using random forests}}, journal={Journal of the American Statistical Association}, year={2018}, volume={113}, number={523}, pages={1228--1242}, doi={10.1080/01621459.2017.1319839}}
R