Statystyka · Zarządzanie

Interpretacja modelu predykcyjnego – ważność permutacyjna, PDP, ICE i wartości SHAP

Fikcyjna wypożyczalnia samochodów, 8000 rezerwacji i pytanie „dlaczego ta rezerwacja ma 63% ryzyka anulowania?”. Las losowy i regresja logistyczna, ważność permutacyjna z przedziałami obok ważności z nieczystości, PDP i krzywe ICE liczone ręcznie, dokładne wartości SHAP jako karta wyjaśnienia dla działu obsługi, a na koniec dwie granice interpretacji: skorelowane cechy i przyczynowość – pięć rysunków z kodem R, podpisy APA i zdania do pracy.

Strona główna / Blog / Interpretacja modelu
W skrócie: Model predykcyjny opisują cztery narzędzia: ważność permutacyjna (czy cecha pomaga), PDP i krzywe ICE (jak zmienia prognozę) oraz wartości SHAP (ile dokłada w jednej prognozie). W przykładzie przedpłata obniżała AUC lasu po permutacji o 0.209, ważność z nieczystości dała 15.4% czystemu szumowi, krzywe ICE odsłoniły interakcję ukrytą pod PDP, a karta SHAP rozłożyła 63.5% ryzyka jednej rezerwacji na cechy. To opis modelu, nie skutków decyzji: PDP obiecywał −32.9 pp anulowań po przedpłacie, a eksperyment dał −19.4 pp.

Przykład: wypożyczalnia samochodów i 8000 rezerwacji

Fikcyjna wypożyczalnia samochodów ma model, który dla każdej rezerwacji podaje ryzyko anulowania. Dział obsługi pyta: dlaczego ta rezerwacja ma 63% ryzyka i co z tym zrobić? Pokazujemy cztery narzędzia, które na to odpowiadają, i ich granice.

Mamy 8000 rezerwacji i sześć cech znanych w chwili rezerwacji: wyprzedzenie (dni do odbioru auta, mediana 30), przedpłatę (41.7% rezerwacji), kanał (porównywarka cen albo strona własna), długość wynajmu, wcześniejsze anulowania klienta i minutę złożenia rezerwacji. Anulowano 30.4% rezerwacji: 45% bez przedpłaty i 10% z przedpłatą.

Dane są fikcyjne i wiemy, co w nich ukryliśmy. Parametry ustaliliśmy ręcznie: ryzyko rośnie z wyprzedzeniem i się wypłaszcza, przy przedpłacie słabiej (interakcja), a minuta nie działa wcale. Dodaliśmy cechę, której firma nie zna: „pewność planów” – pewni klienci częściej płacą z góry i rzadziej anulują. Ziarna 662 nie zmienialiśmy. Jeden parametr poprawiliśmy po pierwszym uruchomieniu: wyraz wolny prawdziwego modelu obniżyliśmy z −2.0 do −2.4, żeby odsetek anulowań spadł z 36% do bardziej realistycznych 30%; reszta parametrów została bez zmian. Dane pobierzesz jako anulowania-rezerwacji-wypozyczalnia.csv.

Uczymy dwa modele na 6000 losowo wybranych rezerwacjach: las losowy (300 drzew; zob. drzewa decyzyjne i lasy losowe) i regresję logistyczną z logarytmem wyprzedzenia. Na pozostałych 2000 rezerwacjach (30.6% anulowań) oba odróżniają anulowania podobnie: pole pod krzywą ROC wynosi AUC = .768 dla lasu i .778 dla regresji. Ocenę modelu opisuje wpis modele predykcyjne: walidacja i kalibracja. Tu pytamy: czego model się nauczył?

Rysunek 1: które cechy są ważne?

Ważność permutacyjna mówi, o ile pogorszy się model, jeśli jedną cechę przemieszamy losowo między rezerwacjami. Breiman (2001) liczył ją w lesie na obserwacjach spoza prób bootstrapowych. My liczymy ją na zbiorze testowym jako spadek AUC, dla obu modeli, na 100 próbach bootstrapowych zbioru testowego (za każdym razem nowa permutacja).

Las ma też miarę „wbudowaną”: ważność z nieczystości, czyli sumę spadków indeksu Giniego w podziałach drzew na danej cesze (zbiór uczący).

Dwa panele. A: ważność permutacyjna jako spadek AUC z 95-procentowymi przedziałami dla lasu losowego (trójkąty) i regresji logistycznej (kółka): przedpłata około 0.2, wyprzedzenie około 0.055, pozostałe cztery cechy blisko zera. B: słupki ważności z nieczystości lasu: przedpłata 43.7%, wyprzedzenie 24.6%, minuta rezerwacji 15.4%, długość wynajmu 8.2%, wcześniejsze anulowania 4.4%, porównywarka 3.7%
Rysunek 1. Ważność permutacyjna cech w lesie losowym i regresji logistycznej (A) oraz ważność z nieczystości w lesie losowym (B). Obliczenia: R, pakiety stats, ranger, ggplot2 i patchwork (dane fikcyjne, set.seed(662)).

Co widać. Kolejność w obu modelach jest ta sama. Przemieszanie przedpłaty obniża AUC lasu o 0.209, 95% CI [0.178, 0.246], wyprzedzenia o 0.053 [0.037, 0.073]. Porównywarka, długość wynajmu i minuta mają przedziały obejmujące zero (minuta: 0.002 [−0.004, 0.008]).

Jak może zmylić. Ważność z nieczystości daje minucie rezerwacji, czyli czystemu szumowi, 15.4% sumy – więcej niż wcześniejszym anulowaniom (4.4%). Minuta ma 60 możliwych punktów podziału, a cecha zero-jedynkowa jeden, więc drzewa „znajdują” w niej przypadkowe różnice. Strobl i in. (2007) pokazali, że ta miara jest niewiarygodna, gdy cechy różnią się skalą pomiaru lub liczbą kategorii. W ważności permutacyjnej na danych testowych minuta ma 0.6% sumy. Przedział z bootstrapu opisuje niepewność zbioru testowego przy ustalonym modelu, nie zmienność samego modelu.

Podpis do pracy:

Rysunek 1. Ważność permutacyjna cech (A) i ważność z nieczystości w lesie losowym (B). Uwaga. A: spadek AUC w zbiorze testowym (N = 2000) po permutacji cechy, średnia i 95% przedział percentylowy ze 100 prób bootstrapowych. B: udział w sumie spadków indeksu Giniego (zbiór uczący, N = 6000).

Zdanie do Wyników:

Najważniejszą cechą w obu modelach była przedpłata (spadek AUC po permutacji: 0.209, 95% CI [0.178, 0.246] w lesie losowym i 0.200 [0.172, 0.228] w regresji logistycznej), a drugą – wyprzedzenie rezerwacji (0.053 [0.037, 0.073] i 0.058 [0.038, 0.075]). Minuta złożenia rezerwacji nie poprawiała prognoz (0.002 [−0.004, 0.008]), choć ważność z nieczystości przypisywała jej 15.4% sumy ważności.

Rysunek 2: jak ryzyko zależy od wyprzedzenia – PDP i ICE

Ważność mówi, czy cecha pomaga, ale nie jak. Do tego służą wykres częściowej zależności (PDP) i krzywe ICE, liczone tu ręcznie. Każdej rezerwacji testowej ustawiamy wyprzedzenie kolejno na 0, 5, 10… 150 dni, resztę cech zostawiając bez zmian. Prognozy jednej rezerwacji tworzą krzywą ICE, a ich średnia to PDP.

Dwa panele. A: 60 krzywych ICE lasu losowego; pomarańczowe ciągłe linie rezerwacji bez przedpłaty rosną od około 25–40% przy 0 dniach do 50–80% przy 100 dniach, niebieskie przerywane linie rezerwacji z przedpłatą są niemal płaskie na poziomie 5–30%; czarna linia PDP rośnie od 20% do około 42%. B: PDP lasu, regresji logistycznej i prawdziwa zależność z symulacji; wszystkie trzy rosną od około 30% przy 30 dniach do około 43% przy 120 dniach, przy zerze dni las pokazuje 20.5%, regresja 8.2%, prawda 13.9%
Rysunek 2. Krzywe ICE i wykres częściowej zależności lasu losowego dla wyprzedzenia rezerwacji (A) oraz PDP obu modeli na tle prawdziwej zależności z symulacji (B). Obliczenia: R, pakiety stats, ranger, ggplot2 i patchwork (dane fikcyjne, set.seed(662)).

Co widać. PDP lasu rośnie od 20.5% przy rezerwacji na ten sam dzień do 35.6% przy 60 dniach. Krzywe ICE tworzą dwie rodziny: bez przedpłaty wydłużenie wyprzedzenia z 0 do 60 dni podnosi prognozę średnio o 25.2 punktu procentowego (pp), z przedpłatą – o 0.9 pp. Model nauczył się ukrytej interakcji, a PDP (+15.1 pp) ją uśrednia. Goldstein i in. (2015) zaproponowali krzywe ICE właśnie dlatego, że przy silnych interakcjach średnia krzywa zaciemnia to, co robi model.

Jak może zmylić. Między 30 a 120 dniami PDP obu modeli i prawda leżą blisko (przy 30 dniach: 29.6%, 30.5% i 30.1%), ale na krańcach się rozjeżdżają: przy zerze dni las daje 20.5%, regresja 8.2%, prawda 13.9%. Powyżej 120 dni jest tylko 2.9% rezerwacji. Zanim zinterpretujesz koniec krzywej, spójrz na kreski u dołu wykresu.

Podpis do pracy:

Rysunek 2. Zależność prognozy anulowania od wyprzedzenia rezerwacji. Uwaga. A: krzywe ICE lasu losowego dla 60 rezerwacji testowych (ciągłe – bez przedpłaty, przerywane – z przedpłatą) i PDP (czarna linia, N = 2000). B: PDP obu modeli i prawdziwa zależność z modelu generującego dane.

Zdanie do Wyników:

Według wykresu częściowej zależności przewidywane ryzyko anulowania rosło z wyprzedzeniem rezerwacji (z 20.5% przy 0 dniach do 35.6% przy 60 dniach). Krzywe ICE wskazały na interakcję z przedpłatą: wydłużenie wyprzedzenia z 0 do 60 dni podnosiło prognozę średnio o 25.2 pp w rezerwacjach bez przedpłaty i o 0.9 pp w rezerwacjach z przedpłatą.

Rysunek 3: wartości SHAP – karta wyjaśnienia jednej rezerwacji

Weźmy rezerwację R0207: 122 dni przed odbiorem, bez przedpłaty, przez porównywarkę, na 6 dni, klient bez wcześniejszych anulowań. Las daje jej 63.5% ryzyka przy średniej 29.9%. Jak rozdzielić tę różnicę na cechy?

Wartości SHAP robią to regułą z teorii gier (wartość Shapleya): cechy to „gracze”, a „wygrana” to prognoza. Dla każdego podzbioru cech S liczymy v(S) – średnią prognozę, gdy cechy z S mają wartości rezerwacji R0207, a pozostałe pochodzą z 500 losowych rezerwacji uczących. Wkład cechy j to przyrost v po jej dołączeniu, uśredniony po wszystkich kolejnościach dołączania:

φj = ΣS ⊆ N \ {j} |S|! (p − |S| − 1)! / p! × [v(S ∪ {j}) − v(S)]

Przy sześciu cechach to 26 = 64 podzbiory – liczymy je wszystkie. Dla modeli z drzew Lundberg i in. (2020) podali szybki algorytm dokładny i pokazali, jak z wielu lokalnych wyjaśnień zbudować obraz całego modelu.

Grafika: karta wyjaśnienia rezerwacji R0207 w formie poziomego wykresu wodospadowego. Szary słupek: średnio w portfelu rezerwacji 29.9%. Pomarańczowe odcinki podnoszące ryzyko: bez przedpłaty plus 19.8 punktu procentowego, rezerwacja 122 dni przed odbiorem plus 14.7, przez porównywarkę cen plus 3.0. Niebieskie odcinki obniżające: wcześniejsze anulowania 0 minus 1.6, wynajem na 6 dni minus 1.3, minuta rezerwacji 35 minus 1.0. Szary słupek końcowy: ta rezerwacja 63.5%. Na dole uwaga, że wkład opisuje model, nie przyczynę
Rysunek 3. Karta wyjaśnienia prognozy lasu losowego dla jednej rezerwacji: dokładne wartości SHAP jako wykres wodospadowy. Grafika: R, pakiety ranger i ggplot2 (dane fikcyjne, set.seed(662)).

Co widać. Od średniej 29.9% brak przedpłaty dokłada 19.8 pp, długie wyprzedzenie 14.7 pp, a porównywarka 3.0 pp. Pozostałe cechy lekko je obniżają. Średnia plus wkłady daje dokładnie prognozę 63.5% – karta „zamyka się” rachunkowo. Regresja wyjaśnia tę rezerwację podobnie (brak przedpłaty +18.5 pp, wyprzedzenie +15.2 pp, porównywarka +6.3 pp; prognoza 66.6%).

Jak może zmylić. Minuta rezerwacji dostała w lesie −1.0 pp, choć nie ma wpływu (w regresji +0.1 pp): las dopasował się do szumu, a SHAP wyjaśnia model, nie rzeczywistość. Cechy spoza S bierzemy z tła niezależnie od cech z S, więc przy cechach skorelowanych powstają nierealne kombinacje. Aas i in. (2021) pokazali, że takie wyjaśnienia mogą być bardzo mylące nawet dla modelu liniowego, i zaproponowali wersję dla cech zależnych.

Podpis do pracy:

Rysunek 3. Wartości SHAP dla prognozy anulowania rezerwacji R0207 w lesie losowym. Uwaga. Górny słupek – średnia prognoza w tle (500 rezerwacji uczących), dolny – prognoza dla rezerwacji; odcinki – dokładne wkłady cech (pp) ze wszystkich 64 podzbiorów cech.

Zdanie do Wyników:

Dla rezerwacji R0207 las losowy przewidywał 63.5% ryzyka anulowania wobec średnio 29.9%. Największy wkład w tę różnicę miały brak przedpłaty (+19.8 pp) i wyprzedzenie 122 dni (+14.7 pp); rezerwacja przez porównywarkę cen dodawała 3.0 pp, a pozostałe cechy łącznie −3.9 pp.

Rysunek 4: skorelowane cechy psują ważność i PDP

W firmie cechy rzadko są niezależne. Załóżmy rabat za wczesną rezerwację: im większe wyprzedzenie, tym większy rabat. W symulacji anulowanie zależy od wyprzedzenia i kanału, a rabat nie ma żadnego wpływu. Dla korelacji rabatu z wyprzedzeniem r = 0, .5, .8 i .95 losujemy po 40 zbiorów (1500 rezerwacji uczących i 1500 testowych) i liczymy ważność permutacyjną obu modeli.

Dwa panele. A: ważność permutacyjna w funkcji korelacji rabatu z wyprzedzeniem, osobno dla wyprzedzenia i rabatu; w lesie losowym ważność wyprzedzenia spada z 0.198 do 0.154, a ważność rabatu rośnie od zera do 0.030 przy r równym 0.95; w regresji logistycznej ważność wyprzedzenia stoi na około 0.22, a rabatu pozostaje blisko zera. B: wykres częściowej zależności rabatu przy r równym 0.95: linia lasu rośnie schodkowo od 35% do 53%, linia regresji łagodnie od 31% do 36%, prawdziwa linia jest płaska na 34%
Rysunek 4. Ważność permutacyjna wyprzedzenia i rabatu w zależności od ich korelacji (A; 40 symulacji na punkt) oraz wykres częściowej zależności rabatu przy r = .95 (B). Obliczenia: R, pakiety stats, ranger, ggplot2 i patchwork (dane symulowane, set.seed(662)).

Co widać. Ważność rabatu w lesie rośnie z −0.0005 (błąd Monte Carlo 0.0010) przy r = 0 do 0.0300 (błąd MC 0.0024) przy r = .95. Ważność wyprzedzenia spada przy tym z 0.198 do 0.154 – las dzieli zasługę między dwie podobne cechy. W regresji rabat ma 0.0022, a wyprzedzenie stoi na około 0.22. W panelu B PDP lasu rośnie przy rabacie od −2 do +2 SD z 34.8% do 52.6% (o 17.7 pp; regresja: 5.3 pp), choć prawdziwy efekt wynosi zero.

Jak może zmylić. Las używa rabatu jako zastępcy wyprzedzenia. Strobl i in. (2008) opisali, że ważność w lasach faworyzuje cechy skorelowane, i zaproponowali ważność warunkową. Do tego permutacja i PDP tworzą nierealne rezerwacje: przy rabacie +2 SD aż 93.4% punktów PDP leży poza obszarem danych (duży rabat przy krótkim wyprzedzeniu), więc model ekstrapoluje. Hooker i in. (2021) pokazali, że metody „permutuj i przewiduj” mogą przez to bardzo przeceniać skorelowane cechy, i zalecają miary wymagające dodatkowego modelowania. Przy silnej współliniowości raportuj ważność grup skorelowanych cech łącznie.

Podpis do pracy:

Rysunek 4. Ważność permutacyjna wyprzedzenia i rabatu w zależności od ich korelacji (A) i PDP rabatu przy r = .95 (B). Uwaga. Dane symulowane, rabat bez wpływu na anulowanie; A: średnia z 40 symulacji ± 2 błędy Monte Carlo.

Zdanie do Metody:

Ponieważ wyprzedzenie rezerwacji i rabat były silnie skorelowane, ważność permutacyjną i wykresy częściowej zależności tych cech interpretowano łącznie i nie przypisywano żadnej z nich odrębnego efektu.

Rysunek 5: interpretacja to nie przyczynowość

PDP lasu mówi: gdyby wszyscy płacili z góry, anulowań byłoby o 32.9 pp mniej. Zarząd chce wprowadzić obowiązkową przedpłatę. Porównujemy to z prawdą i z symulowanym testem A/B: 4000 nowych rezerwacji, przedpłata przydzielona losowo połowie.

Wykres punktowy zmiany odsetka anulowań przy przedpłacie w punktach procentowych. Pomarańczowe trójkąty z danych obserwacyjnych: różnica odsetków minus 35.0, PDP lasu losowego minus 32.9, PDP regresji logistycznej minus 34.3. Niebieskie kółko eksperymentu z losową przedpłatą: minus 19.4 z przedziałem od minus 22.1 do minus 16.7. Szary kwadrat prawdziwego efektu: minus 19.5, zaznaczony też pionową kropkowaną linią
Rysunek 5. Zmiana odsetka anulowań przy przedpłacie według danych obserwacyjnych, PDP obu modeli, symulowanego eksperymentu i prawdziwego modelu. Obliczenia: R, pakiety stats i ggplot2 (dane fikcyjne, set.seed(662)).

Co widać. Surowa różnica odsetków to −35.0 pp, PDP lasu −32.9 pp, regresji −34.3 pp. Prawdziwy efekt to −19.5 pp, eksperyment daje −19.4 pp, 95% CI [−22.1, −16.7]. Modele przeceniają efekt przedpłaty prawie dwukrotnie. Część „efektu” to pewność planów: pewni klienci częściej płacą z góry i rzadziej anulują, a tej cechy nie ma w danych.

Jak może zmylić. Model przewiduje dobrze, a wyciągnięte z niego wnioski są błędne. Zhao i Hastie (2021) zauważyli, że wzór PDP jest taki sam jak wzór korekty „tylnymi drzwiami” na zmienne zakłócające, ale interpretacja przyczynowa wymaga dobrego modelu, diagramu przyczynowego z wiedzy o zjawisku i odpowiedniej wizualizacji. Tu nieobserwowany zakłócacz łamie ten warunek. Szerzej: korelacja a przyczynowość.

Podpis do pracy:

Rysunek 5. Zmiana odsetka anulowań przy przedpłacie (pp) według danych obserwacyjnych, PDP obu modeli, symulowanego eksperymentu z losową przedpłatą (n = 4000; 95% CI) i modelu generującego dane.

Zdanie do Dyskusji:

Wykresy częściowej zależności opisują prognozy modelu, a nie skutki interwencji. Związek przedpłaty z anulowaniem może częściowo wynikać z cech klientów nieobecnych w danych, dlatego skutku obowiązkowej przedpłaty nie szacowano na podstawie modelu.

Co z tym zrobić w firmie

  • Do zarządu – ważność permutacyjna na danych testowych, z przedziałami, nie ważność z nieczystości.
  • Do działu obsługi – karta SHAP przy rezerwacji. „Ryzyko 63%: brak przedpłaty, długie wyprzedzenie” to powód do przypomnienia albo oferty przedpłaty z rabatem. Pokazuj 3–4 największe wkłady.
  • Sprawdzaj krzywe ICE, zanim napiszesz „wyprzedzenie podnosi ryzyko”. Tu dotyczyło to tylko rezerwacji bez przedpłaty.
  • Decyzje o regułach testuj. Obowiązkowa przedpłata dałaby około −19 pp, a nie −33 pp, i może odstraszyć część klientów. Sprawdź ją w teście A/B na części klientów.
  • Monitoruj wyjaśnienia po wdrożeniu. Nagły wzrost wkładu cechy może oznaczać zmianę jej definicji albo przeciek danych. Lundberg i in. (2020) używali lokalnych wyjaśnień do monitorowania wdrożonego modelu.

Podobne decyzje oparte na ryzyku z modelu opisują wpisy o modelu odejść klientów i wykrywaniu nadużyć. Te same narzędzia działają dla gradient boostingu.

Jak opisać w pracy

Podaj, na jakich danych i jaką miarą liczono ważność, jak liczono PDP i SHAP (tło, liczba podzbiorów) i że wyniki nie mają interpretacji przyczynowej (zob. też statystyka w pracy z zarządzania i ekonomii). Przy większych danych to samo liczą pakiety iml, DALEX czy fastshap.

Metoda. Anulowanie rezerwacji (1 = tak) przewidywano na podstawie sześciu cech znanych w chwili rezerwacji. Las losowy (300 drzew) i regresję logistyczną uczono na 6000 losowo wybranych rezerwacjach, a oceniano na pozostałych 2000. Ważność cech oceniono jako spadek AUC po permutacji w zbiorze testowym (100 prób bootstrapowych, 95% przedziały percentylowe), kształt zależności – wykresem częściowej zależności i krzywymi ICE, a prognozę wybranej rezerwacji rozłożono na dokładne wartości SHAP (64 podzbiory cech, tło – 500 rezerwacji). Wyników nie interpretowano przyczynowo. Obliczenia: R 4.5.3.

W Wynikach podaj tabelę ważności dla obu modeli:

Ważność permutacyjna cech w lesie losowym i regresji logistycznej
CechaLas losowy: spadek AUC [95% CI]Regresja: spadek AUC [95% CI]Las: ważność z nieczystości (%)
Przedpłata0.209 [0.178, 0.246]0.200 [0.172, 0.228]43.7
Wyprzedzenie0.053 [0.037, 0.073]0.058 [0.038, 0.075]24.6
Wcześniejsze anulowania0.009 [0.000, 0.016]0.012 [0.005, 0.019]4.4
Porównywarka0.005 [−0.006, 0.014]0.008 [−0.003, 0.016]3.7
Minuta rezerwacji0.002 [−0.004, 0.008]0.000 [0.000, 0.001]15.4
Długość wynajmu0.001 [−0.005, 0.006]0.001 [−0.002, 0.004]8.2
Tabela 1. Ważność cech w modelach przewidujących anulowanie rezerwacji. Uwaga. Spadek AUC po permutacji cechy w zbiorze testowym (N = 2000), 95% przedziały ze 100 prób bootstrapowych; ważność z nieczystości – udział w sumie spadków indeksu Giniego (N = 6000). AUC: las = .768, regresja = .778.
Przykład reprodukowalny

Kod R wszystkich rysunków

Kod odtwarza wszystkie liczby z tekstu i pięć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy dane, paletę i motyw, przepis 2 – modele, funkcje prognozy f_las() i f_rl() oraz funkcję auc(), z których korzystają przepisy 3–6. Przepisy 2–6 kończą się nazwą wykresu (p1–p5), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne.

Losują przepisy 1–6: każdy zaczyna od własnego set.seed(662), a las losowy w przepisie 2 dostaje też seed = 662. Ziarno 662 ustalono raz i nie zmieniano go. Ręcznie ustalono: liczbę rezerwacji, rozkłady cech, współczynniki prawdziwego modelu anulowania i ukrytą „pewność planów” (przepis 1); 300 drzew, minimalną wielkość węzła 25 i 100 prób bootstrapowych (przepis 2); siatkę wyprzedzenia 0–150 dni (przepis 3); tło 500 rezerwacji i regułę wyboru rezerwacji do wyjaśnienia (przepis 4); korelacje, liczebności, współczynniki i 40 powtórzeń symulacji (przepis 5); 4000 rezerwacji w eksperymencie (przepis 6). Przepis 1 zapisuje dane do pliku CSV w katalogu roboczym. Najdłużej liczą się przepisy 2 i 5 (do około minuty).

1. Dane i podział na zbiór uczący i testowy

Dane wejściowe: nic – 8000 rezerwacji losuje kod. Na początku – paleta Okabe–Ito kol, motyw motyw i funkcja minus() (znak minus w etykietach).

Co odczytać: odsetek anulowań w całych danych i w zbiorze testowym, odsetek przedpłat, medianę wyprzedzenia, odsetek rezerwacji powyżej 120 dni oraz odsetek anulowań bez przedpłaty i z przedpłatą.

R
# Przepis 1. Rezerwacje fikcyjnej wypożyczalni samochodów: 8000 rezerwacji, czy klient anuluje?
library(ggplot2)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii) i prosty motyw rysunków
kol <- c("Las losowy" = "#D55E00", "Regresja logistyczna" = "#0072B2", "Prawda (symulacja)" = "grey35")
motyw <- theme_minimal(base_size = 14) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        strip.text = element_text(face = "bold", colour = "#0f1d3a"), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))
minus <- function(s) gsub("-", "\u2212", s, fixed = TRUE)    # znak minus (U+2212) w etykietach i na osiach

# Cechy znane w chwili rezerwacji. Parametry ustalono ręcznie (przykład, nie dane rynkowe).
set.seed(662)                                       # ziarno ustalone raz, bez dobierania pod wynik
n <- 8000
pewnosc <- rnorm(n)                                 # „pewność planów” klienta – NIE ma jej w danych firmy
wyprzedzenie <- pmin(180, round(rgamma(n, 1.4, 1 / 28)))  # dni od rezerwacji do odbioru auta
przedplata <- rbinom(n, 1, plogis(-0.4 + 1.3 * pewnosc))   # pewni swoich planów częściej płacą z góry
porownywarka <- rbinom(n, 1, 0.40)                  # rezerwacja przez porównywarkę cen (0 = strona własna)
dlugosc <- 1 + rpois(n, 4)                          # długość wynajmu (dni)
anulowania_wczesniej <- pmin(4, rpois(n, 0.3))      # wcześniejsze anulowania tego klienta
minuta <- sample(0:59, n, replace = TRUE)           # minuta złożenia rezerwacji – czysty szum

# Prawdziwy model anulowania (znany tylko dlatego, że dane są fikcyjne): efekt wyprzedzenia rośnie
# i się wypłaszcza, przy przedpłacie jest słabszy (interakcja); minuta nie ma żadnego wpływu
prawdziwy_logit <- function(wyprzedzenie, przedplata, porownywarka, dlugosc, anulowania_wczesniej, pewnosc)
  -2.4 + 2.4 * (1 - exp(-wyprzedzenie / 35)) * (1 - 0.55 * przedplata) - 0.5 * przedplata +
    0.6 * porownywarka + 0.45 * anulowania_wczesniej - 0.04 * (dlugosc - 5) - 1.0 * pewnosc
anulowanie <- rbinom(n, 1, plogis(prawdziwy_logit(wyprzedzenie, przedplata, porownywarka, dlugosc,
                                                  anulowania_wczesniej, pewnosc)))

rezerwacje <- data.frame(id = sprintf("R%04d", 1:n), wyprzedzenie, przedplata, porownywarka, dlugosc,
                         anulowania_wczesniej, minuta, anulowanie, pewnosc_ukryta = pewnosc)
write.csv(rezerwacje, "anulowania-rezerwacji-wypozyczalnia.csv", row.names = FALSE)

# Podział losowy: 6000 rezerwacji do uczenia, 2000 do oceny modeli i ich interpretacji
set.seed(662)
uczace <- sample(n, 6000)
train <- rezerwacje[uczace, ]; test <- rezerwacje[-uczace, ]
cechy <- c("wyprzedzenie", "przedplata", "porownywarka", "dlugosc", "anulowania_wczesniej", "minuta")
c(anulowane_proc = round(100 * mean(rezerwacje$anulowanie), 1), test_proc = round(100 * mean(test$anulowanie), 1),
  przedplata_proc = round(100 * mean(przedplata), 1), mediana_wyprzedzenia = median(wyprzedzenie),
  wyprzedzenie_ponad_120_proc = round(100 * mean(wyprzedzenie > 120), 1))
# Odsetek anulowanych: bez przedpłaty i z przedpłatą
round(100 * tapply(rezerwacje$anulowanie, rezerwacje$przedplata, mean), 1)
Wynik w R
             anulowane_proc                   test_proc 
                       30.4                        30.6 
            przedplata_proc        mediana_wyprzedzenia 
                       41.7                        30.0 
wyprzedzenie_ponad_120_proc 
                        2.9 
 0  1 
45 10 

2. Modele, ważność permutacyjna i z nieczystości: Rysunek 1

Dane wejściowe: train, test, cechy, kol i motyw z przepisu 1.

Co odczytać: AUC obu modeli, spadek AUC po permutacji każdej cechy z 95% przedziałem oraz udział cech w ważności z nieczystości i w ważności permutacyjnej lasu.

R
# Przepis 2. Las losowy i regresja logistyczna; ważność permutacyjna (z bootstrapem) i ważność z nieczystości
# (korzysta z train, test, cechy, kol i motyw z przepisu 1)
library(ggplot2)
library(patchwork)
library(ranger)

wzor <- reformulate(cechy, "anulowanie")
set.seed(662)
las <- ranger(wzor, data = transform(train, anulowanie = factor(anulowanie)), num.trees = 300,
              probability = TRUE, min.node.size = 25, importance = "impurity", seed = 662)
rl <- glm(anulowanie ~ log1p(wyprzedzenie) + przedplata + porownywarka + dlugosc + anulowania_wczesniej + minuta,
          family = binomial, data = train)
# Jednolity sposób liczenia prognoz: f(dane) zwraca prawdopodobieństwo anulowania
f_las <- function(d) predict(las, d)$predictions[, "1"]
f_rl <- function(d) predict(rl, d, type = "response")

auc <- function(p, y) { r <- rank(p); n1 <- sum(y); n0 <- length(y) - n1   # pole pod krzywą ROC z rang
  (sum(r[y == 1]) - n1 * (n1 + 1) / 2) / (n1 * n0) }
c(AUC_las = auc(f_las(test), test$anulowanie), AUC_rl = auc(f_rl(test), test$anulowanie)) |> round(3)

# Ważność permutacyjna: o ile spada AUC na zbiorze testowym po przemieszaniu jednej cechy.
# 100 prób bootstrapowych zbioru testowego, w każdej nowa permutacja – przedział 95% (percentylowy).
waznosc_perm <- function(f, B = 100) {
  set.seed(662)
  wyn <- replicate(B, {
    d <- test[sample(nrow(test), replace = TRUE), ]
    a0 <- auc(f(d), d$anulowanie)
    sapply(cechy, function(v) { dp <- d; dp[[v]] <- sample(dp[[v]]); a0 - auc(f(dp), dp$anulowanie) })
  })
  data.frame(cecha = cechy, spadek_auc = rowMeans(wyn), dolna = apply(wyn, 1, quantile, 0.025),
             gorna = apply(wyn, 1, quantile, 0.975))
}
wp <- rbind(cbind(model = "Las losowy", waznosc_perm(f_las)), cbind(model = "Regresja logistyczna", waznosc_perm(f_rl)))
print(transform(wp, spadek_auc = round(spadek_auc, 3), dolna = round(dolna, 3), gorna = round(gorna, 3)), row.names = FALSE)

# Ważność z nieczystości (spadek indeksu Giniego w podziałach drzew) – jako % sumy
wn <- data.frame(cecha = names(las$variable.importance), udzial = 100 * las$variable.importance / sum(las$variable.importance))
wn$udzial_perm <- 100 * pmax(0, wp$spadek_auc[wp$model == "Las losowy"]) / sum(pmax(0, wp$spadek_auc[wp$model == "Las losowy"]))
print(transform(wn, udzial = round(udzial, 1), udzial_perm = round(udzial_perm, 1)), row.names = FALSE)

etykiety <- c(wyprzedzenie = "wyprzedzenie (dni)", przedplata = "przedpłata", porownywarka = "porównywarka",
              dlugosc = "długość wynajmu", anulowania_wczesniej = "wcześniejsze anulowania", minuta = "minuta rezerwacji")
kolejnosc <- rev(cechy[order(wp$spadek_auc[wp$model == "Las losowy"], decreasing = TRUE)])
wp$cecha <- factor(wp$cecha, kolejnosc, etykiety[kolejnosc]); wn$cecha <- factor(wn$cecha, kolejnosc, etykiety[kolejnosc])
wp$model <- factor(wp$model, names(kol)[1:2])

p1a <- ggplot(wp, aes(spadek_auc, cecha, colour = model, shape = model)) +
  geom_vline(xintercept = 0, colour = "grey55", linetype = "22") +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0, orientation = "y", position = position_dodge(0.55)) +
  geom_point(size = 3, position = position_dodge(0.55)) +
  scale_colour_manual(values = kol[1:2], name = NULL) + scale_shape_manual(values = c(17, 16), name = NULL) +
  labs(x = "Spadek AUC po permutacji (95% CI)", y = NULL, title = "A. Ważność permutacyjna",
       subtitle = "Zbiór testowy, 100 prób bootstrapowych") + motyw
p1b <- ggplot(wn, aes(udzial, cecha)) +
  geom_col(fill = "#D55E00", alpha = 0.75, width = 0.6) +
  geom_text(aes(label = sprintf("%.1f%%", udzial)), hjust = -0.1, size = 3.9, colour = "grey15") +
  scale_x_continuous(expand = expansion(mult = c(0, 0.25))) +
  labs(x = "Udział w sumie ważności (%)", y = NULL, title = "B. Ważność z nieczystości",
       subtitle = "Las losowy, zbiór uczący") + motyw + theme(axis.text.y = element_blank())
p1 <- p1a + p1b + plot_layout(widths = c(1.3, 1), guides = "collect") & theme(legend.position = "bottom")
p1   # zapis: ggsave("interpretacja-waznosc-permutacyjna.svg", p1, width = 10, height = 5.6)
Wynik w R
AUC_las  AUC_rl 
  0.768   0.778 
                model                cecha spadek_auc  dolna gorna
           Las losowy         wyprzedzenie      0.053  0.037 0.073
           Las losowy           przedplata      0.209  0.178 0.246
           Las losowy         porownywarka      0.005 -0.006 0.014
           Las losowy              dlugosc      0.001 -0.005 0.006
           Las losowy anulowania_wczesniej      0.009  0.000 0.016
           Las losowy               minuta      0.002 -0.004 0.008
 Regresja logistyczna         wyprzedzenie      0.058  0.038 0.075
 Regresja logistyczna           przedplata      0.200  0.172 0.228
 Regresja logistyczna         porownywarka      0.008 -0.003 0.016
 Regresja logistyczna              dlugosc      0.001 -0.002 0.004
 Regresja logistyczna anulowania_wczesniej      0.012  0.005 0.019
 Regresja logistyczna               minuta      0.000  0.000 0.001
                cecha udzial udzial_perm
         wyprzedzenie   24.6        19.0
           przedplata   43.7        75.0
         porownywarka    3.7         1.7
              dlugosc    8.2         0.4
 anulowania_wczesniej    4.4         3.3
               minuta   15.4         0.6

3. PDP i krzywe ICE liczone ręcznie: Rysunek 2

Dane wejściowe: test, f_las, f_rl z przepisu 2 oraz prawdziwy_logit, kol i motyw z przepisu 1.

Co odczytać: PDP obu modeli i prawdziwą zależność przy 0, 30, 60 i 120 dniach, zmianę 0 → 60 dni oraz średnią zmianę krzywych ICE bez przedpłaty i z przedpłatą.

R
# Przepis 3. PDP i krzywe ICE liczone ręcznie dla wyprzedzenia rezerwacji
# (korzysta z test, f_las, f_rl, prawdziwy_logit, kol i motyw z przepisów 1–2)
library(ggplot2)
library(patchwork)

siatka <- seq(0, 150, by = 5)
# ICE: każdej rezerwacji ustawiamy po kolei każdą wartość z siatki, resztę cech zostawiamy bez zmian
ice <- function(f, d, v, siatka) {
  duze <- d[rep(seq_len(nrow(d)), times = length(siatka)), ]
  duze[[v]] <- rep(siatka, each = nrow(d))
  matrix(f(duze), nrow(d), length(siatka))          # wiersz = rezerwacja, kolumna = punkt siatki
}
ice_las <- ice(f_las, test, "wyprzedzenie", siatka)
ice_rl <- ice(f_rl, test, "wyprzedzenie", siatka)
# Prawdziwa zależność z symulacji (średnia po tych samych rezerwacjach, z ich ukrytą pewnością planów)
prawda <- sapply(siatka, function(g) mean(plogis(prawdziwy_logit(g, test$przedplata, test$porownywarka,
                       test$dlugosc, test$anulowania_wczesniej, test$pewnosc_ukryta))))
pdp <- data.frame(wyprzedzenie = rep(siatka, 3), p = c(colMeans(ice_las), colMeans(ice_rl), prawda),
                  model = factor(rep(names(kol), each = length(siatka)), names(kol)))
# PDP w punktach 0, 30, 60 i 120 dni oraz zmiana 0 → 60 dni (w punktach procentowych)
round(100 * sapply(split(pdp$p, pdp$model), function(p) c(p[siatka %in% c(0, 30, 60, 120)], zmiana_0_60 = p[13] - p[1])), 1)
# ICE lasu: zmiana prognozy 0 → 60 dni osobno bez przedpłaty i z przedpłatą
zm <- ice_las[, 13] - ice_las[, 1]
round(100 * c(bez_przedplaty = mean(zm[test$przedplata == 0]), z_przedplata = mean(zm[test$przedplata == 1]),
              SD_zmian = sd(zm)), 1)

set.seed(662)
wybrane <- sample(nrow(test), 60)                   # 60 losowych krzywych ICE na rysunku
ice_df <- data.frame(id = rep(wybrane, times = length(siatka)), wyprzedzenie = rep(siatka, each = 60),
                     p = as.vector(ice_las[wybrane, ]),
                     przedplata = factor(rep(test$przedplata[wybrane], times = length(siatka)), 0:1,
                                         c("bez przedpłaty", "z przedpłatą")))
p2a <- ggplot(ice_df, aes(wyprzedzenie, 100 * p, group = id, colour = przedplata, linetype = przedplata)) +
  geom_line(alpha = 0.55, linewidth = 0.45) +
  geom_line(data = subset(pdp, model == "Las losowy"), aes(wyprzedzenie, 100 * p), inherit.aes = FALSE,
            colour = "black", linewidth = 1.3) +
  scale_colour_manual(values = c("#E69F00", "#56B4E9"), name = NULL) +
  scale_linetype_manual(values = c("solid", "42"), name = NULL) +
  labs(x = "Wyprzedzenie rezerwacji (dni)", y = "Prognoza anulowania (%)", title = "A. Krzywe ICE i PDP (las)",
       subtitle = "60 rezerwacji; czarna linia = PDP (średnia)") + motyw
p2b <- ggplot(pdp, aes(wyprzedzenie, 100 * p, colour = model, linetype = model)) +
  geom_rug(data = data.frame(w = test$wyprzedzenie[test$wyprzedzenie <= 150]), aes(x = w), inherit.aes = FALSE,
           alpha = 0.15, length = unit(0.03, "npc")) +
  geom_line(linewidth = 1) +
  scale_colour_manual(values = kol, name = NULL) + scale_linetype_manual(values = c("solid", "42", "13"), name = NULL) +
  labs(x = "Wyprzedzenie rezerwacji (dni)", y = "Średnia prognoza (%)", title = "B. PDP trzech „modeli”",
       subtitle = "Kreski na dole: rezerwacje w zbiorze testowym") + motyw
p2 <- p2a + p2b & theme(legend.position = "bottom")
p2   # zapis: ggsave("interpretacja-pdp-ice.svg", p2, width = 10, height = 5.6)
Wynik w R
            Las losowy Regresja logistyczna Prawda (symulacja)
                  20.5                  8.2               13.9
                  29.6                 30.5               30.1
                  35.6                 36.9               38.3
                  42.7                 43.6               43.1
zmiana_0_60       15.1                 28.6               24.3
bez_przedplaty   z_przedplata       SD_zmian 
          25.2            0.9           14.0 

4. Dokładne wartości SHAP i karta wyjaśnienia: Rysunek 3

Dane wejściowe: train, test, cechy, f_las, f_rl, motyw i minus() z przepisów 1–2.

Co odczytać: cechy wybranej rezerwacji, średnią prognozę tła, wkład każdej cechy (pp) i sprawdzenie, że suma wkładów i średniej równa się prognozie.

R
# Przepis 4. Dokładne wartości SHAP dla jednej rezerwacji: wszystkie 64 podzbiory 6 cech
# (korzysta z train, test, cechy, f_las, f_rl, motyw i minus z przepisów 1–2)
library(ggplot2)

# Rezerwacja do wyjaśnienia: pierwsza w zbiorze testowym z prognozą lasu 55–65%, bez przedpłaty, z porównywarki
p_test <- f_las(test)
k <- which(p_test > 0.55 & p_test < 0.65 & test$przedplata == 0 & test$porownywarka == 1 & test$wyprzedzenie > 60)[1]
x <- test[k, ]
x[, c("id", cechy)]

# Wartość koalicji S: średnia prognoza, gdy cechy z S mają wartości tej rezerwacji, a pozostałe pochodzą
# z tła (500 losowych rezerwacji uczących) – marginalizacja „interwencyjna”, bez warunkowania na S
set.seed(662)
tlo <- train[sample(nrow(train), 500), ]
v <- function(f, S) { d <- tlo; for (c in S) d[[c]] <- x[[c]]; mean(f(d)) }
shap <- function(f) {
  p <- length(cechy)
  podzbiory <- unlist(lapply(0:p, function(m) combn(cechy, m, simplify = FALSE)), recursive = FALSE)
  wartosci <- sapply(podzbiory, function(S) v(f, S))
  klucz <- sapply(podzbiory, function(S) paste(sort(S), collapse = "+"))
  sapply(cechy, function(j) {
    bez_j <- podzbiory[!sapply(podzbiory, function(S) j %in% S)]
    sum(sapply(bez_j, function(S) {
      w <- factorial(length(S)) * factorial(p - length(S) - 1) / factorial(p)   # waga Shapleya
      w * (wartosci[klucz == paste(sort(c(S, j)), collapse = "+")] - wartosci[klucz == paste(sort(S), collapse = "+")])
    }))
  })
}
phi_las <- shap(f_las); phi_rl <- shap(f_rl)
baza_las <- v(f_las, character(0)); baza_rl <- v(f_rl, character(0))
# Wkłady w punktach procentowych; suma wkładów + średnia z tła = prognoza dla tej rezerwacji
round(100 * rbind(las = c(srednia_tla = baza_las, phi_las, suma = baza_las + sum(phi_las), prognoza = f_las(x)),
                  regresja = c(srednia_tla = baza_rl, phi_rl, suma = baza_rl + sum(phi_rl), prognoza = f_rl(x))), 1)

# Karta wyjaśnienia dla działu obsługi: wykres wodospadowy wkładów lasu losowego
opis <- c(wyprzedzenie = sprintf("rezerwacja %d dni przed odbiorem", x$wyprzedzenie),
          przedplata = if (x$przedplata == 1) "przedpłata" else "bez przedpłaty",
          porownywarka = if (x$porownywarka == 1) "przez porównywarkę cen" else "przez stronę własną",
          dlugosc = sprintf("wynajem na %d dni", x$dlugosc),
          anulowania_wczesniej = sprintf("wcześniejsze anulowania: %d", x$anulowania_wczesniej),
          minuta = sprintf("minuta rezerwacji: %d", x$minuta))
o <- order(abs(phi_las), decreasing = TRUE)
wf <- data.frame(etykieta = opis[cechy[o]], phi = 100 * phi_las[o])
wf$koniec <- 100 * baza_las + cumsum(wf$phi); wf$start <- wf$koniec - wf$phi
wf$y <- nrow(wf):1 + 1                              # od góry: średnia, cechy, ta rezerwacja
wf$znak <- factor(ifelse(wf$phi >= 0, "podnosi ryzyko", "obniża ryzyko"), c("podnosi ryzyko", "obniża ryzyko"))
kraje <- data.frame(y = c(nrow(wf) + 2, 1), wart = c(100 * baza_las, 100 * f_las(x)),
                    etykieta = c("Średnio w portfelu rezerwacji", "Ta rezerwacja"))
p3 <- ggplot() +
  geom_rect(data = kraje, aes(xmin = 0, xmax = wart, ymin = y - 0.36, ymax = y + 0.36), fill = "grey75") +
  geom_rect(data = wf, aes(xmin = start, xmax = koniec, ymin = y - 0.36, ymax = y + 0.36, fill = znak)) +
  geom_segment(data = wf, aes(x = koniec, xend = koniec, y = y - 0.36, yend = y - 0.64), colour = "grey45",
               linewidth = 0.3) +
  geom_text(data = wf, aes(pmax(start, koniec) + 1.2, y, label = minus(sprintf("%+.1f pp", phi))), hjust = 0,
            size = 4.4, colour = "grey10") +
  geom_text(data = kraje, aes(wart + 1.2, y, label = sprintf("%.1f%%", wart)), hjust = 0, size = 4.6,
            fontface = "bold", colour = "#0f1d3a") +
  geom_text(data = rbind(kraje[, c("y", "etykieta")], wf[, c("y", "etykieta")]), aes(-1.5, y, label = etykieta),
            hjust = 1, size = 4.3, colour = "grey15") +
  scale_fill_manual(values = c("podnosi ryzyko" = "#D55E00", "obniża ryzyko" = "#0072B2"), name = NULL) +
  scale_x_continuous(limits = c(-42, 80), breaks = seq(0, 80, 20), labels = function(b) paste0(b, "%")) +
  labs(x = "Prognoza anulowania", y = NULL,
       title = sprintf("Karta wyjaśnienia: rezerwacja %s – ryzyko anulowania %.0f%%", x$id, 100 * f_las(x)),
       subtitle = "Wartości SHAP z lasu losowego: o ile każda cecha przesuwa prognozę od średniej (pp)",
       caption = "Wkład opisuje model, nie przyczynę: nie mówi, co się stanie, gdy zmienisz cechę klientowi.") +
  motyw + theme(panel.grid.major.y = element_blank(), axis.text.y = element_blank())
p3   # zapis: ggsave("interpretacja-shap-karta-rezerwacji.svg", p3, width = 10, height = 6.2)
Wynik w R
       id wyprzedzenie przedplata porownywarka dlugosc anulowania_wczesniej
207 R0207          122          0            1       6                    0
    minuta
207     35
         srednia_tla wyprzedzenie przedplata porownywarka dlugosc
las             29.9         14.7       19.8          3.0    -1.3
regresja        29.7         15.2       18.5          6.3    -1.0
         anulowania_wczesniej minuta suma prognoza.1
las                      -1.6   -1.0 63.5       63.5
regresja                 -2.1    0.1 66.6       66.6

5. Symulacja: skorelowane cechy: Rysunek 4

Dane wejściowe: funkcja auc(), kol, motyw i minus() z przepisów 1–2; dane losuje kod.

Co odczytać: średnią ważność permutacyjną wyprzedzenia i rabatu z błędem Monte Carlo dla czterech korelacji, PDP rabatu przy r = .95 i odsetek punktów PDP poza obszarem danych.

R
# Przepis 5. Symulacja: skorelowane cechy psują ważność permutacyjną i PDP
# Rabat za wczesną rezerwację rośnie z wyprzedzeniem, ale sam nie wpływa na anulowanie.
# (korzysta z auc, kol, motyw i minus z przepisów 1–2)
library(ggplot2)
library(patchwork)
library(ranger)

symuluj <- function(n, r) {                         # cechy w skali z (średnia 0, SD 1)
  wyprzedzenie <- rnorm(n)
  rabat <- r * wyprzedzenie + sqrt(1 - r^2) * rnorm(n)   # korelacja z wyprzedzeniem = r
  porownywarka <- rbinom(n, 1, 0.4); dlugosc <- rnorm(n)
  anulowanie <- rbinom(n, 1, plogis(-1 + 1.0 * wyprzedzenie + 0.6 * porownywarka))  # rabat: efekt 0
  data.frame(wyprzedzenie, rabat, porownywarka, dlugosc, anulowanie)
}
jeden <- function(r) {
  u <- symuluj(1500, r); t <- symuluj(1500, r)
  las <- ranger(factor(anulowanie) ~ ., data = u, num.trees = 200, probability = TRUE, min.node.size = 25,
                seed = sample.int(1e6, 1))
  rl <- glm(anulowanie ~ ., family = binomial, data = u)
  f <- list(las = function(d) predict(las, d)$predictions[, "1"], rl = function(d) predict(rl, d, type = "response"))
  sapply(f, function(fm) { a0 <- auc(fm(t), t$anulowanie)
    sapply(c("wyprzedzenie", "rabat"), function(v) { tp <- t; tp[[v]] <- sample(tp[[v]]); a0 - auc(fm(tp), tp$anulowanie) }) })
}
set.seed(662)
R <- 40                                             # powtórzeń na każdą wartość korelacji
wyniki <- do.call(rbind, lapply(c(0, 0.5, 0.8, 0.95), function(r) {
  m <- replicate(R, jeden(r))                       # 2 cechy × 2 modele × R
  do.call(rbind, lapply(c("las", "rl"), function(md) do.call(rbind, lapply(c("wyprzedzenie", "rabat"), function(v)
    data.frame(r = r, model = md, cecha = v, srednia = mean(m[v, md, ]), blad_mc = sd(m[v, md, ]) / sqrt(R))))))
}))
print(transform(wyniki, srednia = round(srednia, 4), blad_mc = round(blad_mc, 4)), row.names = FALSE)

# PDP rabatu przy r = .95 w jednym zbiorze: rabat nie działa, a PDP lasu rośnie
set.seed(662)
u <- symuluj(1500, 0.95)
las95 <- ranger(factor(anulowanie) ~ ., data = u, num.trees = 200, probability = TRUE, min.node.size = 25, seed = 662)
rl95 <- glm(anulowanie ~ ., family = binomial, data = u)
siatka <- seq(-2, 2, by = 0.25)
pdp_rabat <- function(f) sapply(siatka, function(g) { d <- u; d$rabat <- g; mean(f(d)) })
pdp95 <- data.frame(rabat = rep(siatka, 3),
  p = c(pdp_rabat(function(d) predict(las95, d)$predictions[, "1"]), pdp_rabat(function(d) predict(rl95, d, type = "response")),
        rep(mean(plogis(-1 + u$wyprzedzenie + 0.6 * u$porownywarka)), length(siatka))),
  model = factor(rep(names(kol), each = length(siatka)), names(kol)))
round(100 * sapply(split(pdp95$p, pdp95$model), function(p) c(rabat_m2 = p[1], rabat_p2 = p[length(p)], roznica = p[length(p)] - p[1])), 1)
# Ile punktów, na których PDP liczy prognozę dla rabatu +2, leży w obszarze danych? (|reszta| < 2 SD reszty)
c(punkty_poza_danymi_proc = round(100 * mean(abs(2 - 0.95 * u$wyprzedzenie) > 2 * sqrt(1 - 0.95^2)), 1))

wyniki$model <- factor(ifelse(wyniki$model == "las", "Las losowy", "Regresja logistyczna"), names(kol)[1:2])
wyniki$cecha <- factor(wyniki$cecha, c("wyprzedzenie", "rabat"), c("wyprzedzenie (działa)", "rabat (efekt 0)"))
p4a <- ggplot(wyniki, aes(r, srednia, colour = model, shape = model, linetype = model)) +
  geom_hline(yintercept = 0, colour = "grey55") +
  geom_line(linewidth = 0.8) + geom_point(size = 2.8) +
  geom_errorbar(aes(ymin = srednia - 2 * blad_mc, ymax = srednia + 2 * blad_mc), width = 0.03) +
  facet_wrap(~cecha, scales = "free_y") +
  scale_colour_manual(values = kol[1:2], name = NULL) + scale_shape_manual(values = c(17, 16), name = NULL) +
  scale_linetype_manual(values = c("solid", "42"), name = NULL) +
  labs(x = "Korelacja rabatu z wyprzedzeniem (r)", y = "Spadek AUC po permutacji", title = "A. Ważność permutacyjna",
       subtitle = sprintf("Średnia z %d symulacji ± 2 błędy MC", R)) + motyw +
  guides(colour = "none", shape = "none", linetype = "none")       # legenda wspólna – w panelu B
p4b <- ggplot(pdp95, aes(rabat, 100 * p, colour = model, linetype = model)) +
  geom_line(linewidth = 1) + geom_point(aes(shape = model), size = 2) +
  scale_colour_manual(values = kol, name = NULL) + scale_linetype_manual(values = c("solid", "42", "13"), name = NULL) +
  scale_shape_manual(values = c(17, 16, 15), name = NULL) + scale_x_continuous(labels = function(b) minus(b)) +
  labs(x = "Rabat (wynik z)", y = "Średnia prognoza (%)", title = "B. PDP rabatu przy r = .95",
       subtitle = "Prawdziwy efekt rabatu: zero") + motyw
p4 <- p4a + p4b + plot_layout(widths = c(1.6, 1), guides = "collect") & theme(legend.position = "bottom")
p4   # zapis: ggsave("interpretacja-korelacja-cech.svg", p4, width = 10, height = 5.6)
Wynik w R
    r model        cecha srednia blad_mc
 0.00   las wyprzedzenie  0.1982  0.0033
 0.00   las        rabat -0.0005  0.0010
 0.00    rl wyprzedzenie  0.2223  0.0035
 0.00    rl        rabat -0.0003  0.0001
 0.50   las wyprzedzenie  0.1956  0.0034
 0.50   las        rabat  0.0029  0.0012
 0.50    rl wyprzedzenie  0.2256  0.0033
 0.50    rl        rabat -0.0002  0.0002
 0.80   las wyprzedzenie  0.1691  0.0039
 0.80   las        rabat  0.0173  0.0023
 0.80    rl wyprzedzenie  0.2202  0.0045
 0.80    rl        rabat  0.0011  0.0004
 0.95   las wyprzedzenie  0.1536  0.0052
 0.95   las        rabat  0.0300  0.0024
 0.95    rl wyprzedzenie  0.2252  0.0065
 0.95    rl        rabat  0.0022  0.0005
         Las losowy Regresja logistyczna Prawda (symulacja)
rabat_m2       34.8                 30.5               34.1
rabat_p2       52.6                 35.8               34.1
roznica        17.7                  5.3                0.0
punkty_poza_danymi_proc 
                   93.4 

6. PDP a eksperyment z przedpłatą: Rysunek 5

Dane wejściowe: test, f_las, f_rl z przepisu 2 oraz prawdziwy_logit, motyw i minus() z przepisu 1.

Co odczytać: zmianę odsetka anulowań przy przedpłacie według danych, PDP obu modeli, symulowanego eksperymentu (z 95% CI) i prawdziwego modelu.

R
# Przepis 6. Interpretacja ≠ przyczynowość: co da obowiązkowa przedpłata?
# (korzysta z test, f_las, f_rl, prawdziwy_logit, motyw i minus z przepisów 1–2)
library(ggplot2)

# Różnica w PDP: wszystkim ustawiamy przedpłatę 1, potem 0 – tak model „odpowiada” na pytanie o przedpłatę
pdp_roznica <- function(f) { d1 <- test; d1$przedplata <- 1; d0 <- test; d0$przedplata <- 0; mean(f(d1)) - mean(f(d0)) }
# Prawdziwy efekt przyczynowy (znany z symulacji): ci sami klienci, z tą samą ukrytą pewnością planów
p_do <- function(pp) mean(plogis(prawdziwy_logit(test$wyprzedzenie, pp, test$porownywarka, test$dlugosc,
                                                 test$anulowania_wczesniej, test$pewnosc_ukryta)))
naiwna <- with(test, mean(anulowanie[przedplata == 1]) - mean(anulowanie[przedplata == 0]))

# Eksperyment: 4000 nowych rezerwacji, przedpłata przydzielona losowo (połowa), te same pozostałe mechanizmy
set.seed(662)
m <- 4000
nowe <- data.frame(pewnosc = rnorm(m), wyprzedzenie = pmin(180, round(rgamma(m, 1.4, 1 / 28))),
                   porownywarka = rbinom(m, 1, 0.40), dlugosc = 1 + rpois(m, 4),
                   anulowania_wczesniej = pmin(4, rpois(m, 0.3)), przedplata = sample(rep(0:1, m / 2)))
nowe$anulowanie <- rbinom(m, 1, plogis(with(nowe, prawdziwy_logit(wyprzedzenie, przedplata, porownywarka, dlugosc,
                                                                    anulowania_wczesniej, pewnosc))))
eksp <- prop.test(table(factor(nowe$przedplata, 1:0), factor(nowe$anulowanie, 1:0)))
efekty <- data.frame(
  zrodlo = c("Różnica odsetków w danych", "PDP: las losowy", "PDP: regresja logistyczna",
             "Eksperyment (losowa przedpłata)", "Prawdziwy efekt (symulacja)"),
  efekt = 100 * c(naiwna, pdp_roznica(f_las), pdp_roznica(f_rl), -diff(eksp$estimate), p_do(1) - p_do(0)),
  dolna = 100 * c(NA, NA, NA, eksp$conf.int[1], NA), gorna = 100 * c(NA, NA, NA, eksp$conf.int[2], NA))
print(transform(efekty, efekt = round(efekt, 1), dolna = round(dolna, 1), gorna = round(gorna, 1)), row.names = FALSE)

efekty$zrodlo <- factor(efekty$zrodlo, rev(efekty$zrodlo))
efekty$rodzaj <- c("z danych obserwacyjnych", "z danych obserwacyjnych", "z danych obserwacyjnych",
                   "z eksperymentu", "prawda")
p5 <- ggplot(efekty, aes(efekt, zrodlo, colour = rodzaj, shape = rodzaj)) +
  geom_vline(xintercept = 0, colour = "grey55") +
  geom_vline(xintercept = efekty$efekt[5], colour = "grey35", linetype = "13") +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0, orientation = "y", na.rm = TRUE, linewidth = 0.9) +
  geom_point(size = 3.6) +
  geom_text(aes(label = minus(sprintf("%.1f pp", efekt))), vjust = -1.1, size = 4.1, show.legend = FALSE) +
  scale_colour_manual(values = c("z danych obserwacyjnych" = "#D55E00", "z eksperymentu" = "#0072B2", "prawda" = "grey35"),
                      name = NULL) +
  scale_shape_manual(values = c("z danych obserwacyjnych" = 17, "z eksperymentu" = 16, "prawda" = 15), name = NULL) +
  scale_x_continuous(limits = c(min(efekty$efekt, na.rm = TRUE) - 4, 2), labels = function(b) minus(b)) +
  labs(x = "Zmiana odsetka anulowań przy przedpłacie (punkty procentowe)", y = NULL,
       title = "Ile anulowań usunie obowiązkowa przedpłata?",
       subtitle = "Linia kropkowana: prawdziwy efekt; poziomy odcinek: 95% CI z eksperymentu") + motyw
p5   # zapis: ggsave("interpretacja-a-przyczynowosc.svg", p5, width = 10, height = 5.2)
Wynik w R
                          zrodlo efekt dolna gorna
       Różnica odsetków w danych -35.0    NA    NA
                 PDP: las losowy -32.9    NA    NA
       PDP: regresja logistyczna -34.3    NA    NA
 Eksperyment (losowa przedpłata) -19.4 -22.1 -16.7
     Prawdziwy efekt (symulacja) -19.5    NA    NA

7. Kontrola palety: symulacja zaburzeń widzenia barw

Dane wejściowe: nic – pary kolorów z rysunków.

Co odczytać: odległość barw ΔE w widzeniu typowym i po symulacji deuteranopii i protanopii; para czerwony–zielony dla porównania.

R
# Przepis 7. Czy paleta przetrwa zaburzenia widzenia barw? Symulacja w pakiecie colorspace
library(colorspace)
pary <- list("las – regresja" = c("#D55E00", "#0072B2"), "las – prawda" = c("#D55E00", "#595959"),
             "regresja – prawda" = c("#0072B2", "#595959"), "ICE: bez przedpłaty – z przedpłatą" = c("#E69F00", "#56B4E9"),
             "SHAP: podnosi – obniża" = c("#D55E00", "#0072B2"), "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
roznica <- function(k) {           # odległość barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(k), "LAB")); sqrt(sum((lab[1, ] - lab[2, ])^2))
}
round(t(sapply(pary, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(k)),
                                   protanopia = roznica(protan(k))))), 1)
Wynik w R
                                   widzenie_typowe deuteranopia protanopia
las – regresja                               114.6        108.3       91.9
las – prawda                                  78.4         65.8       54.7
regresja – prawda                             42.2         45.3       39.9
ICE: bez przedpłaty – z przedpłatą           113.1        111.4      101.5
SHAP: podnosi – obniża                       114.6        108.3       91.9
czerwony – zielony (do unikania)             121.7         21.1       31.6

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3. Losowanie danych, regresja logistyczna (glm()) i przedział dla różnicy odsetków (prop.test()) – pakiet stats z podstawowej instalacji R; las losowy – pakiet ranger. Ważność permutacyjną, PDP, krzywe ICE i wartości SHAP policzono w bazowym R. Rysunki wykonano w pakiecie ggplot2, panele złożono pakietem patchwork i zapisano pakietem svglite, a paletę sprawdzono pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ranger (wersja 0.18.0): Wright, M. N., & Ziegler, A. (2017). ranger: A fast implementation of random forests for high dimensional data in C++ and R. Journal of Statistical Software, 77(1), 1–17. https://doi.org/10.18637/jss.v077.i01
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  4. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  5. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1). https://doi.org/10.18637/jss.v096.i01
  6. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Ważność z nieczystości. Szum dostał 15.4% (rysunek 1); licz ważność permutacyjną na danych testowych.
  • Sam PDP. Uśrednia interakcje (+25.2 i +0.9 pp do +15.1 pp) i zawodzi przy małej liczbie danych (rysunek 2).
  • Skorelowane cechy. Cecha bez efektu dostaje ważność i „efekt” na PDP (rysunek 4).
  • Wyjaśnienie jako obietnica. „Bez przedpłaty +19.8 pp” nie znaczy, że przedpłata obniży ryzyko o tyle (rysunek 5).
  • Interpretacja przeuczonego modelu. Wyjaśniasz także dopasowany szum – najpierw oceń model na danych testowych.

Najczęstsze pytania

Czym różni się ważność permutacyjna od ważności z nieczystości w lesie losowym?

Ważność permutacyjna to spadek trafności modelu po przemieszaniu wartości cechy, najlepiej liczony na danych testowych. Ważność z nieczystości sumuje spadki indeksu Giniego w podziałach drzew na danych uczących i faworyzuje cechy z wieloma możliwymi podziałami. W przykładzie losowa minuta rezerwacji dostała 15.4% ważności z nieczystości i 0.6% ważności permutacyjnej. Zob. ważność permutacyjna zmiennych.

Co pokazują wartości SHAP?

Rozkładają jedną prognozę na wkłady cech: średnia prognoza plus suma wkładów równa się prognozie dla danej obserwacji. W przykładzie rezerwacja z 63.5% ryzyka miała wkłady +19.8 pp za brak przedpłaty i +14.7 pp za wyprzedzenie 122 dni przy średniej 29.9%. Przy kilku cechach SHAP da się policzyć dokładnie ze wszystkich podzbiorów cech.

Co krzywe ICE pokazują w modelu ryzyka, czego nie widać na PDP?

Krzywa ICE pokazuje, jak zmienia się prognoza jednej obserwacji, gdy zmieniamy jedną cechę, a PDP jest średnią wszystkich krzywych ICE. Gdy krzywe ICE się rozchodzą, model zawiera interakcję, którą PDP uśrednia. W przykładzie wyprzedzenie podnosiło ryzyko o 25.2 pp bez przedpłaty i o 0.9 pp z przedpłatą, a PDP pokazał +15.1 pp. Zob. PDP i krzywe ICE.

Czy wartości SHAP i PDP pokazują efekt przyczynowy?

Nie. Opisują, jak model łączy cechy z prognozą. W przykładzie PDP przedpłaty wynosił −32.9 pp, a prawdziwy efekt i eksperyment z losową przedpłatą około −19.5 pp, bo przedpłatę częściej wybierali klienci pewni swoich planów. Skutki decyzji sprawdzaj eksperymentem – zob. korelacja a przyczynowość.

Dlaczego skorelowane zmienne zaburzają interpretację modelu?

Permutacja i PDP tworzą nierealne kombinacje cech, np. duży rabat przy krótkim wyprzedzeniu, i model musi ekstrapolować. W symulacji rabat bez żadnego efektu dostał przy korelacji .95 ważność 0.030 w lesie losowym, a jego PDP rósł o 17.7 pp. Skorelowane cechy interpretuj łącznie.

Powiązane hasła

Przeczytaj też

Interpretujesz model predykcyjny w pracy z zarządzania?

Pomożemy policzyć ważność cech na danych testowych, przygotować PDP, krzywe ICE i wartości SHAP oraz opisać wyniki bez przyczynowych nadinterpretacji – tak, żebyś umiał(a) je obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Aas, K., Jullum, M., & Løland, A. (2021). Explaining individual predictions when features are dependent: More accurate approximations to Shapley values. Artificial Intelligence, 298, Article 103502. https://doi.org/10.1016/j.artint.2021.103502 ● Otwarty dostęp
  2. Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5–32. https://doi.org/10.1023/a:1010933404324 ● Otwarty dostęp: pełny tekst
  3. Goldstein, A., Kapelner, A., Bleich, J., & Pitkin, E. (2015). Peeking inside the black box: Visualizing statistical learning with plots of individual conditional expectation. Journal of Computational and Graphical Statistics, 24(1), 44–65. https://doi.org/10.1080/10618600.2014.907095 ● Otwarty dostęp: pełny tekst
  4. Hooker, G., Mentch, L., & Zhou, S. (2021). Unrestricted permutation forces extrapolation: Variable importance requires at least one more model, or there is no free variable importance. Statistics and Computing, 31(6), Article 82. https://doi.org/10.1007/s11222-021-10057-z ● Otwarty dostęp
  5. Lundberg, S. M., Erion, G., Chen, H., DeGrave, A., Prutkin, J. M., Nair, B., Katz, R., Himmelfarb, J., Bansal, N., & Lee, S.-I. (2020). From local explanations to global understanding with explainable AI for trees. Nature Machine Intelligence, 2(1), 56–67. https://doi.org/10.1038/s42256-019-0138-9 ● Otwarty dostęp: pełny tekst
  6. Strobl, C., Boulesteix, A.-L., Kneib, T., Augustin, T., & Zeileis, A. (2008). Conditional variable importance for random forests. BMC Bioinformatics, 9(1), Article 307. https://doi.org/10.1186/1471-2105-9-307 ● Otwarty dostęp
  7. Strobl, C., Boulesteix, A.-L., Zeileis, A., & Hothorn, T. (2007). Bias in random forest variable importance measures: Illustrations, sources and a solution. BMC Bioinformatics, 8(1), Article 25. https://doi.org/10.1186/1471-2105-8-25 ● Otwarty dostęp
  8. Zhao, Q., & Hastie, T. (2021). Causal interpretations of black-box models. Journal of Business & Economic Statistics, 39(1), 272–281. https://doi.org/10.1080/07350015.2019.1624293 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@article{aas2021explaining, author={Aas, Kjersti and Jullum, Martin and L{\o}land, Anders}, title={{Explaining individual predictions when features are dependent: More accurate approximations to Shapley values}}, journal={Artificial Intelligence}, year={2021}, volume={298}, eid={103502}, doi={10.1016/j.artint.2021.103502}}
@article{breiman2001random, author={Breiman, Leo}, title={{Random forests}}, journal={Machine Learning}, year={2001}, volume={45}, number={1}, pages={5--32}, doi={10.1023/a:1010933404324}}
@article{goldstein2015peeking, author={Goldstein, Alex and Kapelner, Adam and Bleich, Justin and Pitkin, Emil}, title={{Peeking inside the black box: Visualizing statistical learning with plots of individual conditional expectation}}, journal={Journal of Computational and Graphical Statistics}, year={2015}, volume={24}, number={1}, pages={44--65}, doi={10.1080/10618600.2014.907095}}
@article{hooker2021unrestricted, author={Hooker, Giles and Mentch, Lucas and Zhou, Siyu}, title={{Unrestricted permutation forces extrapolation: Variable importance requires at least one more model, or there is no free variable importance}}, journal={Statistics and Computing}, year={2021}, volume={31}, number={6}, eid={82}, doi={10.1007/s11222-021-10057-z}}
@article{lundberg2020local, author={Lundberg, Scott M. and Erion, Gabriel and Chen, Hugh and DeGrave, Alex and Prutkin, Jordan M. and Nair, Bala and Katz, Ronit and Himmelfarb, Jonathan and Bansal, Nisha and Lee, Su-In}, title={{From local explanations to global understanding with explainable AI for trees}}, journal={Nature Machine Intelligence}, year={2020}, volume={2}, number={1}, pages={56--67}, doi={10.1038/s42256-019-0138-9}}
@article{strobl2008conditional, author={Strobl, Carolin and Boulesteix, Anne-Laure and Kneib, Thomas and Augustin, Thomas and Zeileis, Achim}, title={{Conditional variable importance for random forests}}, journal={BMC Bioinformatics}, year={2008}, volume={9}, number={1}, eid={307}, doi={10.1186/1471-2105-9-307}}
@article{strobl2007bias, author={Strobl, Carolin and Boulesteix, Anne-Laure and Zeileis, Achim and Hothorn, Torsten}, title={{Bias in random forest variable importance measures: Illustrations, sources and a solution}}, journal={BMC Bioinformatics}, year={2007}, volume={8}, number={1}, eid={25}, doi={10.1186/1471-2105-8-25}}
@article{zhao2021causal, author={Zhao, Qingyuan and Hastie, Trevor}, title={{Causal interpretations of black-box models}}, journal={Journal of Business \& Economic Statistics}, year={2021}, volume={39}, number={1}, pages={272--281}, doi={10.1080/07350015.2019.1624293}}
R