Statystyka · Finanse

Wykrywanie nadużyć przy rzadkich zdarzeniach – precyzja, czułość i koszt alarmu

Fikcyjny ubezpieczyciel komunikacyjny, 60 000 szkód, 1.8% wyłudzeń i budżet 200 kontroli miesięcznie. Dlaczego trafność 98% nic nie znaczy, krzywe ROC i PR obok siebie, macierz decyzji z kosztami i wybór szkód według oczekiwanego zysku, SMOTE, który psuje kalibrację, i etykiety tylko ze skontrolowanych szkód – pięć rysunków z kodem R, podpisy APA i zdania do pracy.

Strona główna / Blog / Wykrywanie nadużyć
W skrócie: Przy 1.8% wyłudzeń reguła „nikt nie oszukuje” ma 98.20% trafności, a regresja logistyczna z progiem 0.5 nie wskazuje ani jednej szkody – dlatego model wykrywania nadużyć oceniaj precyzją, czułością i krzywą PR (tu AUC = .835, ale AP = .138). O kontrolach decydują koszty i budżet: przy 200 kontrolach miesięcznie wybór według ryzyka × kwota dał 138 138 zł miesięcznie wobec 117 744 zł przy wyborze według samego ryzyka. Nie wyrównuj klas SMOTE-em, gdy liczysz pieniądze – zawyżył średnie ryzyko z 1.80% do 36.2% i obniżył zysk – i pamiętaj, że etykiety z dawnych kontroli uczą model dawnych reguł.

Przykład: ubezpieczyciel i 60 000 szkód komunikacyjnych

Fikcyjny ubezpieczyciel komunikacyjny przyjmuje około 2500 zgłoszeń szkód miesięcznie. Dział likwidacji może dokładnie sprawdzić 200 szkód w miesiącu. Pytanie biznesowe brzmi: które 200 szkód sprawdzić, żeby kontrole dały jak najwięcej?

Mamy 24 miesiące, czyli 60 000 szkód. Przy każdej znamy cechy dostępne w dniu zgłoszenia: dni od zawarcia polisy, dni od zdarzenia do zgłoszenia, brak notatki policji i świadków, porę zdarzenia, wcześniejsze szkody klienta, wiek auta i kierowcy, warsztat powiązany z innymi podejrzanymi szkodami oraz żądaną kwotę. Wyłudzeniem okazało się 1.77% szkód. Mediana żądanej kwoty wyniosła 6010 zł w szkodach uczciwych i 7730 zł w wyłudzeniach.

Dane są fikcyjne i wiemy, co w nich ukryliśmy. Współczynniki prawdziwego modelu wyłudzenia ustawiliśmy ręcznie (m.in. szkoda w ciągu 30 dni od zawarcia polisy, brak świadków, warsztat powiązany, interakcja nowej polisy z brakiem świadków). Ręcznie ustaliliśmy też dawne reguły kontroli: szkody powyżej 25 000 zł, nocne bez policji i bez świadków oraz 1% losowo. Ziarna 639 ani parametrów nie zmienialiśmy po obejrzeniu wyników. Dane pobierzesz jako naduzycia-szkody-komunikacyjne.csv.

Modele uczymy na miesiącach 1–18, a oceniamy na miesiącach 19–24 (15 000 szkód, 270 wyłudzeń, 1.80%). Taki podział naśladuje wdrożenie (zob. prognoza upadłości firm i przeciek danych i walidacja w czasie).

Rysunek 1: trafność 98% i dwie krzywe

Reguła „nikt nie oszukuje” podejmuje trafną decyzję w 98.20% szkód testowych. Regresja logistyczna z progiem 0.5 ma trafność 98.19% i nie wskazuje ani jednego wyłudzenia, bo żadna szkoda nie ma przewidywanego ryzyka powyżej 50%. Przy rzadkim zdarzeniu trafność mierzy głównie to, jak rzadkie jest zdarzenie.

Dlatego patrzymy na dwie inne liczby z macierzy pomyłek. Czułość to odsetek wyłudzeń, które alarm wykrył (czułość i swoistość). Precyzja to odsetek alarmów trafnych, czyli wartość predykcyjna dodatnia. Porównujemy regresję logistyczną z lasem losowym (300 drzew, każde na próbie bootstrapowej; Breiman, 2001; więcej: drzewa decyzyjne i lasy losowe).

Dwa panele. A, krzywa ROC: niebieska linia regresji logistycznej i pomarańczowa przerywana lasu losowego biegną wysoko nad szarą przekątną; przy czułości 50% regresja ma 6.5% fałszywych alarmów, las 9.6%. B, krzywa precyzja–czułość: obie krzywe zaczynają się przy około 20–30% precyzji i opadają do poziomu 1.8%, zaznaczonego przerywaną linią; przy czułości 50% precyzja to 12.3% dla regresji i 8.7% dla lasu
Rysunek 1. Krzywa ROC (A) i krzywa precyzja–czułość (B) regresji logistycznej i lasu losowego w miesiącach 19–24 (15 000 szkód, 270 wyłudzeń). Obliczenia: R, pakiety stats, ranger, ggplot2 i patchwork (dane fikcyjne, set.seed(639)).

Co widać. Na krzywej ROC (panel A) oba modele wyglądają dobrze: AUC = .835 dla regresji i .814 dla lasu. Punkt na krzywej oznacza, że przy wykryciu połowy wyłudzeń regresja daje alarm w 6.5% uczciwych szkód. Na krzywej precyzja–czułość (panel B) ten sam punkt to precyzja 12.3%: na każde 100 alarmów tylko około 12 dotyczy wyłudzeń. Dla lasu precyzja wynosi 8.7%. Średnia precyzja (AP, pole pod krzywą PR) to .138 i .109, przy poziomie losowym .018.

Jak może zmylić. 6.5% fałszywych alarmów brzmi niewinnie, ale to 6.5% z 14 730 uczciwych szkód, czyli setki kontroli. Krzywa ROC tego nie pokazuje, bo nie zależy od częstości zdarzenia. Saito i Rehmsmeier (2015) pokazali, że przy silnie niezrównoważonych klasach wykres PR lepiej oddaje praktyczną skuteczność klasyfikatora. Las nie wygrał z regresją, co zgadza się z porównaniem technik wykrywania wyłudzeń w ubezpieczeniach komunikacyjnych, gdzie regresja logistyczna wypadała bardzo dobrze (Viaene i in., 2002).

Podpis do pracy:

Rysunek 1. Krzywa ROC (A) i krzywa precyzja–czułość (B) regresji logistycznej i lasu losowego w zbiorze testowym (miesiące 19–24; N = 15 000 szkód, 270 wyłudzeń). Uwaga. Linia przerywana szara: w panelu A losowy wybór, w panelu B odsetek wyłudzeń (1.8%). Punkty – próg, przy którym czułość wynosi 50%.

Zdanie do Wyników:

W zbiorze testowym (N = 15 000; 1.8% wyłudzeń) regresja logistyczna lepiej odróżniała wyłudzenia od szkód uczciwych niż las losowy (AUC = .835 i .814; średnia precyzja AP = .138 i .109 przy poziomie losowym .018). Przy czułości 50% precyzja wynosiła 12.3% dla regresji logistycznej i 8.7% dla lasu losowego.

Rysunek 2: macierz decyzji z kosztami

Model daje ryzyko, a firma potrzebuje decyzji: kontrolować czy wypłacić. Parametry ustaliliśmy ręcznie (to przykład, nie dane rynkowe): kontrola kosztuje 350 zł, uczciwy klient, którego sprawdzamy, kosztuje dodatkowo 150 zł (dłuższe czekanie, skargi), a wykryte wyłudzenie pozwala nie wypłacić 85% żądanej kwoty. Oczekiwany zysk z kontroli konkretnej szkody to

zysk = p × 0.85 × kwota − 350 − (1 − p) × 150

gdzie p to ryzyko z modelu. Próg ryzyka zależy więc od kwoty: kontrola szkody na 3000 zł opłaca się od ryzyka 0.185, na 6000 zł od 0.095, a na 20 000 zł już od 0.029. Inaczej niż w modelu odejść klientów stawka zmienia się ze szkodą.

Grafika: tabela dwa na dwa. Wiersze: kontrola i wypłata bez kontroli; kolumny: szkoda jest wyłudzeniem i szkoda jest uczciwa. Kontrola wyłudzenia: 0.85 razy kwota minus 350 zł, średnio plus 6535 zł, 121 szkód. Kontrola uczciwej szkody: minus 500 zł, 1079 szkód. Wypłata wyłudzenia: 0 zł względem wypłaty, ale tracona kwota średnio 7656 zł, 149 szkód. Wypłata uczciwej szkody: 0 zł, 13651 szkód
Rysunek 2. Macierz decyzji o kontroli szkody z zyskiem w każdej komórce i liczebnościami w miesiącach 19–24 przy 200 kontrolach miesięcznie. Grafika: R, pakiet ggplot2 (dane fikcyjne, set.seed(639)).

Co widać. Co miesiąc kontrolujemy 200 szkód o najwyższym oczekiwanym zysku z regresji. W sześciu miesiącach to 1200 kontroli: 121 trafnych i 1079 alarmów fałszywych. Precyzja wynosi 10.1%, czułość 44.8%. Mimo to kontrole się opłacają: jedno wykryte wyłudzenie daje średnio +6535 zł, a fałszywy alarm kosztuje 500 zł. Razem to 828 827 zł w sześć miesięcy. 149 wyłudzeń (średnio 7656 zł) przeszło bez kontroli.

Jak może zmylić. Precyzja 10% nie znaczy, że model jest zły – przy tych kosztach wystarczy kilka trafień na sto kontroli. Kwoty to jednak założenia; oszacuj je z danych działu likwidacji.

Podpis do pracy:

Rysunek 2. Macierz decyzji o kontroli szkody z zyskiem w każdej komórce. Uwaga. Założono koszt kontroli 350 zł, dodatkowy koszt kontroli uczciwej szkody 150 zł i odzysk 85% kwoty wykrytego wyłudzenia; wypłata bez kontroli – punkt odniesienia (0 zł). Liczebności – zbiór testowy (N = 15 000) przy 200 kontrolach miesięcznie według oczekiwanego zysku z regresji logistycznej.

Zdanie do Metody:

Oczekiwany zysk z kontroli szkody obliczono jako p × 0.85 × kwota − 350 − (1 − p) × 150, gdzie p to przewidywane prawdopodobieństwo wyłudzenia; w każdym miesiącu do kontroli wybierano 200 szkód o najwyższym oczekiwanym zysku.

Rysunek 3: budżet 200 kontroli – według czego wybierać?

Porównujemy budżety od 0 do 1000 kontroli miesięcznie i cztery sposoby wyboru: ryzyko z regresji, ryzyko z lasu, oczekiwany zysk (ryzyko × kwota) i losowanie.

Dwa panele. A: zysk z kontroli w tysiącach złotych na miesiąc względem liczby kontroli od 0 do 1000; zielona przerywana linia rankingu ryzyko razy kwota ma maksimum przy 200 kontrolach, niebieska linia regresji i pomarańczowa lasu leżą niżej, a szara linia losowego wyboru opada od zera do minus 340 tysięcy. B: słupki przy 200 kontrolach: regresja 117.7 tysiąca złotych i 142 wykryte wyłudzenia, las 86.9 i 121, losowo minus 70.4 i 18, ryzyko razy kwota 138.1 i 121
Rysunek 3. Zysk z kontroli w miesiącach 19–24 w zależności od liczby kontroli miesięcznie (A) i przy budżecie 200 kontroli (B). Obliczenia: R, pakiety stats, ranger, ggplot2 i patchwork (dane fikcyjne, set.seed(639)).

Co widać. Przy 200 kontrolach ranking według samego ryzyka z regresji wykrywa najwięcej wyłudzeń: 142 z 270 (precyzja 11.8%, czułość 52.6%) i daje 117 744 zł miesięcznie. Ranking według oczekiwanego zysku wykrywa mniej, bo 121, ale zarabia 138 138 zł miesięcznie: wybiera droższe szkody. Las daje 86 873 zł, a losowe kontrole to strata 70 404 zł miesięcznie. Zielona krzywa ma szczyt przy około 200 kontrolach, a reguła „kontroluj, gdy oczekiwany zysk > 0” wskazałaby średnio 166.5 szkody miesięcznie (131 310 zł).

Jak może zmylić. Najwięcej wykrytych wyłudzeń nie oznacza najwyższego zysku. Ranking według ryzyka × kwota działa tylko wtedy, gdy ryzyko jest dobrze skalibrowane – co psuje następny krok.

Podpis do pracy:

Rysunek 3. Miesięczny zysk z kontroli szkód w zbiorze testowym (miesiące 19–24) w zależności od liczby kontroli w miesiącu i sposobu wyboru szkód (A) oraz przy budżecie 200 kontroli (B). Uwaga. W panelu B pod wartością zysku (tys. zł na miesiąc) podano liczbę wykrytych wyłudzeń w sześciu miesiącach (z 270).

Zdanie do Wyników:

Przy budżecie 200 kontroli miesięcznie wybór szkód według oczekiwanego zysku z regresji logistycznej dawał 138 138 zł miesięcznie (121 wykrytych wyłudzeń; precyzja 10.1%, czułość 44.8%), a wybór według samego przewidywanego ryzyka – 117 744 zł (142 wyłudzenia; precyzja 11.8%, czułość 52.6%). Losowy wybór szkód przynosił stratę 70 404 zł miesięcznie.

Rysunek 4: SMOTE i przeważanie zawyżają ryzyko

Popularna rada przy rzadkich zdarzeniach brzmi: „wyrównaj klasy”. SMOTE tworzy sztuczne wyłudzenia przez interpolację między prawdziwymi wyłudzeniami a ich najbliższymi sąsiadami (Chawla i in., 2002). Przeważanie daje każdemu wyłudzeniu wagę 55.7. W obu wersjach model „widzi” 50% wyłudzeń zamiast 1.8%. Szerzej opisuje to hasło nierównowaga klas.

Dwa panele. A, kalibracja w skali logarytmicznej: niebieskie punkty modelu bez korekty leżą wzdłuż przekątnej od 0.2% do około 10%; pomarańczowe trójkąty SMOTE i różowe kwadraty przeważania leżą daleko w prawo od przekątnej, z przewidywanym ryzykiem od około 10% do 81% przy obserwowanym od 0.1% do 10.5%. B, słupki: liczba szkód miesięcznie z dodatnim oczekiwanym zyskiem z kontroli: 166 bez korekty, 2100 dla SMOTE i 2107 dla przeważania; przerywana linia budżetu na poziomie 200
Rysunek 4. Kalibracja regresji logistycznej bez korekty, po SMOTE i z przeważaniem klas w decylach przewidywanego ryzyka (A) oraz liczba szkód, których kontrola „opłaca się” według każdego modelu (B). Obliczenia: R, pakiety stats, ggplot2 i patchwork (dane fikcyjne, set.seed(639)).

Co widać. Ranking prawie się nie zmienia: AUC = .835, .835 i .836, AP = .138, .136 i .136. Zmienia się za to skala ryzyka. Średnie przewidywane ryzyko to 1.80% bez korekty i 36.2% po SMOTE, przy 1.8% wyłudzeń. W decylu najwyższego ryzyka model po SMOTE przewiduje 81.2%, a wyłudzeń jest 10.5%. To brak kalibracji. Skutek: reguła „oczekiwany zysk > 0” wskazuje średnio 2099.7 szkody miesięcznie zamiast 166.5 i daje stratę 648 568 zł miesięcznie. Nawet przy sztywnym budżecie 200 kontroli ranking według ryzyka × kwota po SMOTE wykrywa 62 wyłudzenia zamiast 121 i zarabia 97 537 zł zamiast 138 138 zł, bo zawyżone ryzyko zbyt mocno faworyzuje wysokie kwoty.

Jak może zmylić. Po samym AUC uznasz, że SMOTE „nie zaszkodził”; szkodzi, gdy ryzyko wchodzi do rachunku kosztów. Van den Goorbergh i in. (2022) pokazali w symulacjach, że podpróbkowanie, nadpróbkowanie i SMOTE dają silnie zawyżone ryzyko klasy rzadkiej bez wzrostu AUC, a podobną równowagę czułości i swoistości daje samo przesunięcie progu.

Podpis do pracy:

Rysunek 4. Kalibracja regresji logistycznej bez korekty nierównowagi klas, po SMOTE i z przeważaniem wyłudzeń w zbiorze testowym (N = 15 000) (A) oraz średnia miesięczna liczba szkód z dodatnim oczekiwanym zyskiem z kontroli (B). Uwaga. Panel A: decyle przewidywanego ryzyka (po 1500 szkód) z 95% przedziałami Wilsona, osie logarytmiczne; linia przerywana – idealna kalibracja.

Zdanie do Wyników:

Korekty nierównowagi klas nie poprawiły dyskryminacji (AUC = .835 bez korekty, .835 po SMOTE i .836 z przeważaniem), ale zawyżyły średnie przewidywane ryzyko z 1.80% do 36.2% i 36.1% przy 1.8% wyłudzeń. W rezultacie wybór 200 szkód miesięcznie według oczekiwanego zysku dawał po SMOTE 62 zamiast 121 wykrytych wyłudzeń i 97 537 zł zamiast 138 138 zł miesięcznie.

Rysunek 5: etykiety tylko dla skontrolowanych

Dotąd znaliśmy prawdę o każdej szkodzie. W firmie wiemy tylko, co wykazała kontrola. Dawne reguły obejmowały 7.9% szkód i tylko 18.3% wyłudzeń. W miesiącach 1–18 widać więc 147 wyłudzeń z 793. Sprawdzamy dwa typowe wyjścia: (1) nieskontrolowane szkody traktujemy jak uczciwe, (2) uczymy model tylko na 3560 skontrolowanych szkodach.

Dwa panele. A, ilorazy szans z 95% przedziałami w skali logarytmicznej dla czterech cech w trzech wariantach: przy etykietach z kontroli traktujących brak kontroli jako zero iloraz dla pory nocnej rośnie z 2.01 do 15.86, a dla logarytmu kwoty z 1.47 do 4.04; dla warsztatu powiązanego spada z 3.93 do 3.12. B, słupki wykrytych wyłudzeń przy 200 kontrolach miesięcznie: prawdziwe etykiety 121 i 138 tysięcy złotych miesięcznie, brak kontroli równa się zero 91 i 96 tysięcy, tylko skontrolowane 113 i 124 tysiące
Rysunek 5. Ilorazy szans wybranych cech w modelach uczonych na prawdziwych etykietach i na etykietach z dawnych kontroli (A) oraz wykryte wyłudzenia i zysk w miesiącach 19–24 przy 200 kontrolach miesięcznie (B). Obliczenia: R, pakiety stats, ggplot2 i patchwork (dane fikcyjne, set.seed(639)).

Co widać. Model uczony na etykietach „brak kontroli = uczciwa” odtwarza dawne reguły. Iloraz szans dla zdarzeń nocnych rośnie z 2.01 do 15.86, a dla kwoty z 1.47 do 4.04, bo właśnie takie szkody kiedyś sprawdzano. Średnie przewidywane ryzyko spada do 0.34%. Przy 200 kontrolach wykrywa 91 wyłudzeń zamiast 121 i zarabia 96 103 zł miesięcznie zamiast 138 138 zł. Z 50 wyłudzeń przez warsztaty powiązane znajduje 14 zamiast 31. Model uczony tylko na skontrolowanych traci mniej (113 wyłudzeń, 124 067 zł).

Jak może zmylić. To błąd weryfikacji: Begg i Greenes (1983) opisali go dla testów diagnostycznych – ocena tylko na osobach zweryfikowanych może poważnie obciążyć czułość i swoistość, a korekta wymaga założeń o tym, kogo weryfikowano. Lekarstwem jest mała losowa próba kontroli co miesiąc (np. 10–20 z 200), która daje nieobciążone etykiety.

Podpis do pracy:

Rysunek 5. Ilorazy szans wybranych cech (95% CI) w regresji logistycznej uczonej na prawdziwych etykietach, na etykietach z dawnych kontroli (szkody niekontrolowane = uczciwe) i tylko na szkodach skontrolowanych (A) oraz liczba wykrytych wyłudzeń i miesięczny zysk w zbiorze testowym przy 200 kontrolach miesięcznie (B). Uwaga. Dawne kontrole obejmowały 7.9% szkód i 18.3% wyłudzeń.

Zdanie do Metody:

Status wyłudzenia był znany tylko dla szkód skontrolowanych według dotychczasowych reguł (7.9% szkód), dlatego wyniki modelu mogą być obciążone wyborem szkód do kontroli; do oceny modelu wykorzystano losową próbę kontroli.

Co z tym zrobić w firmie

  • Raportuj precyzję i czułość przy budżecie. „200 kontroli wykrywa 45% wyłudzeń, trafia co dziesiąta” rozumie zarząd.
  • Wybieraj szkody według oczekiwanego zysku. Ryzyko × kwota dało tu o 20 394 zł miesięcznie więcej niż samo ryzyko.
  • Nie wyrównuj klas, jeśli liczysz pieniądze. Zostaw model bez korekty, a o liczbie kontroli decyduj budżetem lub progiem z kosztów.
  • Losuj część kontroli. Bez tego model uczy się dawnych reguł.
  • Model to sito, nie wyrok. Alarm uzasadnia kontrolę, a nie odmowę wypłaty. Podobnie działa test kwot w prawie Benforda w audycie. Bolton i Hand (2002) zauważają, że sprawcy dostosowują się do zabezpieczeń – sprawdzaj model co kilka miesięcy.

Jak opisać w pracy

Napisz, jak powstały etykiety, jak podzielono dane w czasie i jak przełożono ryzyko na decyzję. Ogólne zasady opisuje wpis modele predykcyjne: walidacja i kalibracja, a kontekst prac z finansów – statystyka w pracy z finansów i rachunkowości. Podobny opis znajdziesz we wpisie o scoringu kredytowym.

Metoda. Wyłudzenie (1 = tak) przewidywano na podstawie 11 cech szkody znanych w dniu zgłoszenia. Modele (regresja logistyczna, las losowy z 300 drzewami) uczono na szkodach z miesięcy 1–18 (n = 45 000), a oceniano na szkodach z miesięcy 19–24 (n = 15 000; 1.8% wyłudzeń). Dyskryminację oceniono polem pod krzywą ROC (AUC) i średnią precyzją (AP), a kalibrację – wykresem w decylach przewidywanego ryzyka. W każdym miesiącu do kontroli wybierano 200 szkód o najwyższym oczekiwanym zysku z kontroli przy założonych kosztach. Klas nie wyrównywano; dla porównania oszacowano modele po SMOTE i z przeważaniem. Obliczenia wykonano w R 4.5.3.

W Wynikach podaj tabelę porównania modeli i reguł:

Porównanie modeli i reguł wyboru szkód do kontroli w zbiorze testowym
Model i reguła wyboruAUCAPWykryte (z 270)Precyzja (%)Zysk (zł/mies.)
Regresja, ryzyko.835.13814211.8117 744
Regresja, ryzyko × kwota.835.13812110.1138 138
Las losowy, ryzyko.814.10912110.186 873
Regresja po SMOTE, ryzyko × kwota.835.136625.297 537
Losowy wybór–.018181.5−70 404
Tabela 1. Trafność modeli i zysk z kontroli szkód w zbiorze testowym (miesiące 19–24; N = 15 000; 270 wyłudzeń) przy 200 kontrolach miesięcznie. Uwaga. AP – średnia precyzja (pole pod krzywą precyzja–czułość); zysk przy koszcie kontroli 350 zł, dodatkowym koszcie kontroli uczciwej szkody 150 zł i odzysku 85% kwoty wyłudzenia.
Przykład reprodukowalny

Kod R wszystkich rysunków

Kod odtwarza wszystkie liczby z tekstu i pięć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 tworzy dane, paletę i motyw, przepis 2 – modele i przewidywania, przepis 3 – parametry kosztów i funkcje używane w przepisach 4–6. Przepisy 2–6 kończą się nazwą wykresu (p1, p3–p6), co wyświetla go w oknie R; do zapisu w pliku SVG użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały z tych samych obiektów, którym podmieniono tylko motyw na motyw serwisu (krój i kolor czcionki, siatka) – dane, geometrie i skale są identyczne.

Losują przepisy 1, 2, 4 i 5: każdy zaczyna od własnego set.seed(639), a las losowy dostaje też seed = 639. Ziarno 639 ustalono raz i nie zmieniano go. Ręcznie ustalono: liczbę szkód, rozkłady cech, współczynniki prawdziwego modelu wyłudzenia i dawne reguły kontroli (przepis 1); 300 drzew i minimalną wielkość liścia 50 (przepis 2); koszty kontroli, odzysk i budżet (przepis 3); 5 sąsiadów w SMOTE (przepis 5). Przepis 1 zapisuje dane do pliku CSV w katalogu roboczym. Cały kod liczy się w kilka sekund.

1. Dane i podział w czasie

Dane wejściowe: nic – 60 000 szkód losuje kod. Na początku – paleta Okabe–Ito kol, kształty ksztalt i motyw motyw.

Co odczytać: odsetek wyłudzeń w całej próbie, w miesiącach 1–18 i 19–24, liczbę wyłudzeń w zbiorze testowym, mediany kwot oraz zasięg dawnych kontroli.

R
# Przepis 1. Szkody komunikacyjne fikcyjnego ubezpieczyciela: 24 miesiące zgłoszeń, ok. 1.5% wyłudzeń
library(ggplot2)

# Paleta Okabe–Ito (rozróżnialna także przy deuteranopii), kształty i prosty motyw rysunków
kol <- c("Regresja logistyczna" = "#0072B2", "Las losowy" = "#D55E00", "Losowy wybór" = "grey55",
         "Ranking: p × kwota" = "#009E73")
ksztalt <- c("Regresja logistyczna" = 16, "Las losowy" = 17, "Losowy wybór" = 1, "Ranking: p × kwota" = 15)
motyw <- theme_minimal(base_size = 14) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.0)),
        plot.subtitle = element_text(colour = "grey30"), panel.grid.minor = element_blank(),
        panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        strip.text = element_text(face = "bold", colour = "#0f1d3a"), legend.position = "bottom",
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))

# 2500 zgłoszeń miesięcznie przez 24 miesiące. Cechy znane w dniu zgłoszenia szkody.
# Współczynniki prawdziwego modelu wyłudzenia ustalono ręcznie (m.in. szkoda tuż po zawarciu polisy,
# brak policji i świadków, warsztat powiązany z innymi podejrzanymi szkodami, interakcja z kwotą).
set.seed(639)                                    # ziarno ustalone raz, bez dobierania pod wynik
n <- 2500 * 24
miesiac <- rep(1:24, each = 2500)
dni_od_polisy <- round(rexp(n, 1 / 200))         # dni od zawarcia polisy do zdarzenia
nowa_polisa <- as.numeric(dni_od_polisy <= 30)
dni_do_zgloszenia <- rpois(n, 3)                 # dni od zdarzenia do zgłoszenia
bez_policji <- rbinom(n, 1, 0.55)                # brak notatki policji na miejscu
bez_swiadkow <- rbinom(n, 1, 0.40)
noc <- rbinom(n, 1, 0.15)                        # zdarzenie między 22:00 a 5:00
wczesniejsze_szkody <- rpois(n, 0.4)             # szkody klienta w ostatnich 3 latach
wiek_auta <- pmin(25, round(rgamma(n, 3, 3 / 10)))
wiek_kierowcy <- round(pmin(85, pmax(18, rnorm(n, 45, 14))))
warsztat_powiazany <- rbinom(n, 1, 0.06)         # warsztat obsługujący wcześniejsze podejrzane szkody
kwota <- round(exp(rnorm(n, log(6000), 0.8)), -1)   # żądana kwota odszkodowania (zł)
logit <- -6.3 + 1.6 * nowa_polisa + 0.5 * bez_policji + 0.6 * bez_swiadkow + 0.7 * noc +
  0.35 * wczesniejsze_szkody + 0.05 * dni_do_zgloszenia + 0.03 * wiek_auta - 0.015 * (wiek_kierowcy - 45) +
  1.5 * warsztat_powiazany + 0.45 * log(kwota / 6000) + 0.8 * nowa_polisa * bez_swiadkow
wyludzenie <- rbinom(n, 1, plogis(logit))        # prawda znana tylko dlatego, że dane są fikcyjne

# Dawne reguły kontroli: likwidatorzy sprawdzali szkody powyżej 25 000 zł oraz nocne bez policji i bez świadków
# (plus 1% losowo); wyłudzenie „widać” w danych tylko w skontrolowanych szkodach (zob. przepis 6)
kontrola_dawniej <- as.numeric(kwota > 25000 | (noc == 1 & bez_policji == 1 & bez_swiadkow == 1) | runif(n) < 0.01)
etykieta_z_kontroli <- wyludzenie * kontrola_dawniej

szkody <- data.frame(id = sprintf("S%05d", 1:n), miesiac, dni_od_polisy, nowa_polisa, dni_do_zgloszenia,
                     bez_policji, bez_swiadkow, noc, wczesniejsze_szkody, wiek_auta, wiek_kierowcy,
                     warsztat_powiazany, kwota, kontrola_dawniej, etykieta_z_kontroli, wyludzenie)
write.csv(szkody, "naduzycia-szkody-komunikacyjne.csv", row.names = FALSE)

# Podział w czasie: uczymy na miesiącach 1–18, oceniamy na 19–24 (jak przy wdrożeniu)
train <- subset(szkody, miesiac <= 18); test <- subset(szkody, miesiac > 18)
c(wyludzenia_proc = round(100 * mean(szkody$wyludzenie), 2), uczacy = round(100 * mean(train$wyludzenie), 2),
  testowy = round(100 * mean(test$wyludzenie), 2), wyludzenia_test = sum(test$wyludzenie),
  szkody_test = nrow(test))
# Mediana żądanej kwoty: szkody uczciwe i wyłudzenia
tapply(szkody$kwota, szkody$wyludzenie, median)
# Dawne kontrole: odsetek skontrolowanych szkód i odsetek wyłudzeń, które w ogóle zostały sprawdzone
c(kontrolowane_proc = round(100 * mean(szkody$kontrola_dawniej), 1),
  wyludzenia_sprawdzone_proc = round(100 * mean(szkody$kontrola_dawniej[szkody$wyludzenie == 1]), 1))
Wynik w R
wyludzenia_proc          uczacy         testowy wyludzenia_test     szkody_test 
           1.77            1.76            1.80          270.00        15000.00 
   0    1 
6010 7730 
         kontrolowane_proc wyludzenia_sprawdzone_proc 
                       7.9                       18.3 

2. Regresja logistyczna, las losowy, ROC i PR: Rysunek 1

Dane wejściowe: train, test, kol, ksztalt i motyw z przepisu 1.

Co odczytać: ilorazy szans z 95% CI, trafność przy progu 0.5, AUC i AP obu modeli oraz odsetek fałszywych alarmów i precyzję przy czułości 50%.

R
# Przepis 2. Regresja logistyczna i las losowy (miesiące 1–18); trafność, krzywe ROC i PR na miesiącach 19–24
# (korzysta z train, test, kol, ksztalt i motyw z przepisu 1)
library(ggplot2)
library(patchwork)
library(ranger)

predyktory <- c("dni_od_polisy", "nowa_polisa", "dni_do_zgloszenia", "bez_policji", "bez_swiadkow", "noc",
                "wczesniejsze_szkody", "wiek_auta", "wiek_kierowcy", "warsztat_powiazany", "log_kwota")
train$log_kwota <- log(train$kwota); test$log_kwota <- log(test$kwota)
wzor <- reformulate(predyktory, "wyludzenie")
rl <- glm(wzor, family = binomial, data = train)
round(cbind(OR = exp(coef(rl)), exp(confint.default(rl)))[-1, ], 2)
set.seed(639)
las <- ranger(wzor, data = transform(train, wyludzenie = factor(wyludzenie)), num.trees = 300,
              probability = TRUE, min.node.size = 50, seed = 639)
test$p_rl <- predict(rl, test, type = "response")
test$p_las <- predict(las, test)$predictions[, "1"]
y <- test$wyludzenie

# „Trafność 98%”: odsetek poprawnych decyzji przy progu 0.5 i reguła „nikt nie oszukuje”
trafnosc <- function(p, prog = 0.5) mean((p >= prog) == (y == 1))
c(nikt_nie_oszukuje = 100 * mean(y == 0), rl_prog_05 = 100 * trafnosc(test$p_rl),
  las_prog_05 = 100 * trafnosc(test$p_las), wykryte_rl_prog_05 = sum(test$p_rl >= 0.5 & y == 1)) |> round(2)

# AUC (pole pod ROC) i średnia precyzja AP (pole pod krzywą PR) – policzone wprost z rang
auc <- function(p, y) { r <- rank(p); n1 <- sum(y); n0 <- length(y) - n1
  (sum(r[y == 1]) - n1 * (n1 + 1) / 2) / (n1 * n0) }
ap <- function(p, y) { o <- order(p, decreasing = TRUE); tp <- cumsum(y[o])
  mean((tp / seq_along(o))[y[o] == 1]) }          # średnia precyzja w miejscach, gdzie „łapiemy” wyłudzenie
c(AUC_rl = auc(test$p_rl, y), AUC_las = auc(test$p_las, y), AP_rl = ap(test$p_rl, y),
  AP_las = ap(test$p_las, y), AP_losowo = mean(y)) |> round(3)

krzywe <- function(p, nazwa) {
  o <- order(p, decreasing = TRUE); tp <- cumsum(y[o]); fp <- cumsum(1 - y[o]); k <- seq_along(o)
  data.frame(model = nazwa, czulosc = tp / sum(y), fpr = fp / sum(1 - y), precyzja = tp / k)[seq(1, length(o), 15), ]
}
kr <- rbind(krzywe(test$p_rl, "Regresja logistyczna"), krzywe(test$p_las, "Las losowy"))
kr$model <- factor(kr$model, names(kol)[1:2])
# Ten sam punkt na obu krzywych: czułość 50% – ile fałszywych alarmów?
pkt <- do.call(rbind, lapply(split(kr, kr$model), function(d) d[which(d$czulosc >= 0.5)[1], ]))
print(transform(pkt, fpr = round(100 * fpr, 1), precyzja = round(100 * precyzja, 1),
                czulosc = round(100 * czulosc, 1)), row.names = FALSE)

pa <- ggplot(kr, aes(100 * fpr, 100 * czulosc, colour = model, linetype = model)) +
  geom_abline(slope = 1, intercept = 0, linetype = "22", colour = "grey55") +
  geom_line(linewidth = 0.9) + geom_point(data = pkt, aes(shape = model), size = 3.2, show.legend = FALSE) +
  scale_colour_manual(values = kol[1:2], name = NULL) + scale_shape_manual(values = ksztalt[1:2], name = NULL) +
  scale_linetype_manual(values = c("solid", "42"), name = NULL) + coord_equal() +
  labs(x = "Fałszywe alarmy (% uczciwych szkód)", y = "Czułość (% wyłudzeń wykrytych)",
       title = "A. Krzywa ROC", subtitle = "Przekątna = losowy wybór") + motyw
pb <- ggplot(kr, aes(100 * czulosc, 100 * precyzja, colour = model, linetype = model)) +
  geom_hline(yintercept = 100 * mean(y), linetype = "22", colour = "grey55") +
  geom_line(linewidth = 0.9) + geom_point(data = pkt, aes(shape = model), size = 3.2, show.legend = FALSE) +
  scale_colour_manual(values = kol[1:2], name = NULL) + scale_shape_manual(values = ksztalt[1:2], name = NULL) +
  scale_linetype_manual(values = c("solid", "42"), name = NULL) + coord_cartesian(ylim = c(0, 100)) +
  labs(x = "Czułość (% wyłudzeń wykrytych)", y = "Precyzja (% alarmów trafnych)",
       title = "B. Krzywa precyzja–czułość", subtitle = sprintf("Linia przerywana = odsetek wyłudzeń (%.1f%%)", 100 * mean(y))) + motyw
p1 <- pa + pb + plot_layout(guides = "collect") & theme(legend.position = "bottom")
p1   # zapis: ggsave("naduzycia-roc-i-pr.svg", p1, width = 10, height = 5.6)
Wynik w R
                      OR 2.5 % 97.5 %
dni_od_polisy       1.00  1.00   1.00
nowa_polisa         7.77  6.47   9.33
dni_do_zgloszenia   1.04  1.00   1.09
bez_policji         1.59  1.37   1.85
bez_swiadkow        2.85  2.45   3.31
noc                 2.01  1.70   2.38
wczesniejsze_szkody 1.51  1.37   1.66
wiek_auta           1.03  1.02   1.05
wiek_kierowcy       0.98  0.98   0.99
warsztat_powiazany  3.93  3.23   4.79
log_kwota           1.47  1.34   1.61
 nikt_nie_oszukuje         rl_prog_05        las_prog_05 wykryte_rl_prog_05 
             98.20              98.19              98.20               0.00 
   AUC_rl   AUC_las     AP_rl    AP_las AP_losowo 
    0.835     0.814     0.138     0.109     0.018 
                model czulosc fpr precyzja
 Regresja logistyczna      50 6.5     12.3
           Las losowy      50 9.6      8.7

3. Macierz decyzji z kosztami: Rysunek 2

Dane wejściowe: test z przewidywaniami z przepisu 2; koszty i budżet ustala kod.

Co odczytać: próg opłacalności dla trzech kwot, liczebności komórek przy 200 kontrolach miesięcznie, precyzję, czułość i zysk w sześciu miesiącach.

R
# Przepis 3. Macierz decyzji z kosztami: kontrola albo wypłata × wyłudzenie albo uczciwa szkoda
# (korzysta z test i p_rl z przepisów 1–2)
library(ggplot2)

# Parametry ustalone ręcznie (przykład, nie dane rynkowe):
koszt_kontroli <- 350   # praca likwidatora specjalnego i rzeczoznawcy (zł na skontrolowaną szkodę)
koszt_klienta  <- 150   # uczciwy klient czeka dłużej na wypłatę: odsetki, skargi, ryzyko odejścia (zł)
odzysk         <- 0.85  # część kwoty wyłudzenia, której po kontroli nie wypłacamy (reszta: spory, ugody)
budzet         <- 200   # kontroli miesięcznie, na które stać dział

# Zysk z kontroli względem wypłaty bez kontroli (punkt odniesienia = 0 zł)
zysk_kontroli <- function(y, kwota) ifelse(y == 1, odzysk * kwota - koszt_kontroli, -koszt_kontroli - koszt_klienta)
# Oczekiwany zysk z kontroli konkretnej szkody: ryzyko × odzyskana kwota − koszty
oczekiwany <- function(p, kwota) p * odzysk * kwota - koszt_kontroli - (1 - p) * koszt_klienta
test$ez_rl <- oczekiwany(test$p_rl, test$kwota)
# Próg ryzyka, od którego kontrola się opłaca, zależy od kwoty: p* = 500 / (0.85 × kwota + 150)
prog <- function(kwota) (koszt_kontroli + koszt_klienta) / (odzysk * kwota + koszt_klienta)
round(c(prog_3000 = prog(3000), prog_6000 = prog(6000), prog_20000 = prog(20000)), 3)

# Wybór w każdym miesiącu: 200 szkód o najwyższym oczekiwanym zysku z regresji logistycznej
wybierz <- function(wynik, k) ave(-wynik, test$miesiac, FUN = function(v) rank(v, ties.method = "first")) <= k
kontrola <- wybierz(test$ez_rl, budzet)
y <- test$wyludzenie
m <- table(decyzja = factor(ifelse(kontrola, "kontrola", "wypłata"), c("kontrola", "wypłata")),
           wynik = factor(ifelse(y == 1, "wyłudzenie", "uczciwa"), c("wyłudzenie", "uczciwa")))
m
c(precyzja_proc = round(100 * m[1, 1] / sum(m[1, ]), 1), czulosc_proc = round(100 * m[1, 1] / sum(m[, 1]), 1),
  sredni_zysk_trafnej = round(mean(zysk_kontroli(1, test$kwota[kontrola & y == 1]))),
  srednia_kwota_niewykrytych = round(mean(test$kwota[!kontrola & y == 1])),
  zysk_6_miesiecy = sum(zysk_kontroli(y, test$kwota)[kontrola]))

komorki <- data.frame(x = c(1, 2, 1, 2), y = c(2, 2, 1, 1),
  tytul = c("Kontrola · wyłudzenie", "Kontrola · uczciwa szkoda", "Wypłata · wyłudzenie", "Wypłata · uczciwa szkoda"),
  wzor = c(sprintf("%.2f × kwota − %d zł\nśrednio %+d zł na szkodę", odzysk, koszt_kontroli,
                   round(mean(zysk_kontroli(1, test$kwota[kontrola & y == 1])))),
           sprintf("− %d − %d = −%d zł\nkontrola + koszt klienta", koszt_kontroli, koszt_klienta, koszt_kontroli + koszt_klienta),
           sprintf("0 zł względem wypłaty,\nale tracimy kwotę (średnio %d zł)", round(mean(test$kwota[!kontrola & y == 1]))),
           "0 zł\nwypłata bez opóźnienia"),
  liczba = sprintf("%d szkód", c(m[1, 1], m[1, 2], m[2, 1], m[2, 2])),
  rola = c("zysk", "strata", "zero", "zero"))
p3 <- ggplot(komorki) +
  geom_tile(aes(x, y, fill = rola), width = 0.96, height = 0.92, colour = "grey60") +
  geom_text(aes(x - 0.44, y + 0.30, label = tytul), hjust = 0, fontface = "bold", size = 5.1, colour = "#0f1d3a") +
  geom_text(aes(x - 0.44, y + 0.03, label = wzor), hjust = 0, size = 4.4, lineheight = 1.05, colour = "grey15") +
  geom_text(aes(x - 0.44, y - 0.30, label = liczba), hjust = 0, size = 4.6, fontface = "italic", colour = "#0f1d3a") +
  annotate("text", x = c(1, 2), y = 2.6, label = c("Szkoda jest wyłudzeniem", "Szkoda jest uczciwa"),
           fontface = "bold", size = 4.8, colour = "grey25") +
  annotate("text", x = 0.42, y = c(2, 1), label = c("Kontrola", "Wypłata bez kontroli"), angle = 90,
           fontface = "bold", size = 4.8, colour = "grey25") +
  scale_fill_manual(values = c(zysk = "#cfe3f2", strata = "#f7dcc8", zero = "grey95"), guide = "none") +
  coord_cartesian(xlim = c(0.35, 2.5), ylim = c(0.5, 2.7), expand = FALSE) +
  labs(title = "Macierz decyzji: ile daje i ile kosztuje kontrola szkody?",
       subtitle = "Liczby: miesiące 19–24 (15 000 szkód), 200 kontroli miesięcznie według oczekiwanego zysku") +
  theme_void(base_size = 14) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a"), plot.subtitle = element_text(colour = "grey30"),
        plot.background = element_rect(fill = "white", colour = NA), plot.margin = margin(10, 14, 10, 10))
p3   # zapis: ggsave("naduzycia-macierz-decyzji.svg", p3, width = 10, height = 6)
Wynik w R
 prog_3000  prog_6000 prog_20000 
     0.185      0.095      0.029 
          wynik
decyzja    wyłudzenie uczciwa
  kontrola        121    1079
  wypłata         149   13651
             precyzja_proc               czulosc_proc 
                      10.1                       44.8 
       sredni_zysk_trafnej srednia_kwota_niewykrytych 
                    6535.0                     7656.0 
           zysk_6_miesiecy 
                  828827.0 

4. Zysk a budżet kontroli: Rysunek 3

Dane wejściowe: test z przepisu 2 oraz funkcje i parametry z przepisu 3.

Co odczytać: miesięczny zysk, wykryte wyłudzenia, precyzję i czułość przy 200 kontrolach dla czterech rankingów; budżet z najwyższym zyskiem i wynik reguły „oczekiwany zysk > 0”.

R
# Przepis 4. Ile kontroli miesięcznie i według czego wybierać? Zysk w funkcji budżetu kontroli
# (korzysta z test, p_rl, p_las, kol, ksztalt, motyw z przepisów 1–2 oraz funkcji i parametrów z przepisu 3)
library(ggplot2)
library(patchwork)

test$ez_las <- oczekiwany(test$p_las, test$kwota)
y <- test$wyludzenie
zysk_szkody <- zysk_kontroli(y, test$kwota)          # co dałaby kontrola tej szkody (znamy prawdę – dane fikcyjne)
set.seed(639)
los <- runif(nrow(test))                              # losowy wybór szkód do kontroli – punkt odniesienia
rankingi <- list("Regresja logistyczna" = test$p_rl, "Las losowy" = test$p_las,
                 "Ranking: p × kwota" = test$ez_rl, "Losowy wybór" = los)
ks <- seq(0, 1000, by = 10)
krzywa <- do.call(rbind, lapply(names(rankingi), function(nz) {
  r <- ave(-rankingi[[nz]], test$miesiac, FUN = function(v) rank(v, ties.method = "first"))
  data.frame(ranking = nz, k = ks, zysk = sapply(ks, function(k) sum(zysk_szkody[r <= k])) / 6,
             wykryte = sapply(ks, function(k) sum(y[r <= k])))
}))
krzywa$ranking <- factor(krzywa$ranking, names(kol))
# Przy budżecie 200 kontroli miesięcznie: zysk na miesiąc, wykryte wyłudzenia (z 270), precyzja i czułość
przy200 <- subset(krzywa, k == 200)
print(transform(przy200, zysk = round(zysk), precyzja_proc = round(100 * wykryte / 1200, 1),
                czulosc_proc = round(100 * wykryte / sum(y), 1)), row.names = FALSE)
# Najlepszy budżet (bez ograniczenia) dla rankingu p × kwota oraz reguła „kontroluj, gdy oczekiwany zysk > 0”
naj <- subset(krzywa, ranking == "Ranking: p × kwota"); naj[which.max(naj$zysk), c("k", "zysk")]
c(kontrole_mies_ez_dodatni = sum(test$ez_rl > 0) / 6, zysk_mies_ez_dodatni = round(sum(zysk_szkody[test$ez_rl > 0]) / 6))

p4a <- ggplot(krzywa, aes(k, zysk / 1000, colour = ranking, linetype = ranking)) +
  geom_vline(xintercept = 200, linetype = "22", colour = "grey40") +
  geom_hline(yintercept = 0, colour = "grey60") +
  geom_line(linewidth = 0.9) +
  geom_point(data = przy200, aes(shape = ranking), size = 3.2, show.legend = FALSE) +
  scale_colour_manual(values = kol, name = NULL) + scale_shape_manual(values = ksztalt, name = NULL) +
  scale_linetype_manual(values = c("solid", "42", "solid", "22"), name = NULL) +
  labs(x = "Kontrole w miesiącu (z 2500 szkód)", y = "Zysk z kontroli (tys. zł na miesiąc)",
       title = "A. Zysk a liczba kontroli", subtitle = "Linia przerywana: budżet 200 kontroli") + motyw
p4b <- ggplot(przy200, aes(ranking, zysk / 1000, fill = ranking)) +
  geom_col(width = 0.7) +
  geom_text(aes(label = sprintf("%.1f\n(%d)", zysk / 1000, wykryte)),
            vjust = ifelse(przy200$zysk >= 0, -0.15, 1.15), size = 3.9, lineheight = 0.95, colour = "grey15") +
  geom_hline(yintercept = 0, colour = "grey60") +
  scale_fill_manual(values = kol, guide = "none") +
  scale_x_discrete(labels = c("Regresja", "Las", "Losowo", "p × kwota")) +
  scale_y_continuous(expand = expansion(mult = c(0.15, 0.25))) +
  labs(x = NULL, y = "Zysk (tys. zł na miesiąc)", title = "B. Budżet 200 kontroli",
       subtitle = "Tys. zł/mies. (wykryte w 6 mies.)") + motyw
p4 <- p4a + p4b + plot_layout(widths = c(1.4, 1), guides = "collect") & theme(legend.position = "bottom")
p4   # zapis: ggsave("naduzycia-budzet-kontroli.svg", p4, width = 10, height = 5.8)
Wynik w R
              ranking   k   zysk wykryte precyzja_proc czulosc_proc
 Regresja logistyczna 200 117744     142          11.8         52.6
           Las losowy 200  86873     121          10.1         44.8
   Ranking: p × kwota 200 138138     121          10.1         44.8
         Losowy wybór 200 -70404      18           1.5          6.7
      k     zysk
223 200 138137.8
kontrole_mies_ez_dodatni     zysk_mies_ez_dodatni 
                   166.5                 131310.0 

5. SMOTE, przeważanie i kalibracja: Rysunek 4

Dane wejściowe: train, test, wzor, predyktory, rl, auc() i ap() z przepisu 2 oraz funkcje z przepisu 3.

Co odczytać: AUC, AP, średnie ryzyko, liczbę kontroli i zysk według reguły „oczekiwany zysk > 0” oraz zysk przy 200 kontrolach; przewidywane i obserwowane ryzyko w najwyższym decylu.

R
# Przepis 5. SMOTE i przeważanie klas: ranking podobny, przewidywane ryzyko zawyżone
# (korzysta z train, test, wzor, predyktory, rl, auc(), ap() z przepisu 2 oraz oczekiwany(), zysk_kontroli(),
#  wybierz() i budzet z przepisu 3)
library(ggplot2)
library(patchwork)

# SMOTE policzony ręcznie: dla każdego wyłudzenia 5 najbliższych wyłudzeń (odległość na cechach standaryzowanych),
# nowy przypadek = punkt na odcinku między wyłudzeniem a losowym sąsiadem; aż do równej liczby obu klas
set.seed(639)
X <- as.matrix(train[train$wyludzenie == 1, predyktory])
Z <- scale(X)
D <- as.matrix(dist(Z)); diag(D) <- Inf
sasiedzi <- t(apply(D, 1, function(d) order(d)[1:5]))
ile <- sum(train$wyludzenie == 0) - nrow(X)
i <- sample(nrow(X), ile, replace = TRUE)
j <- sasiedzi[cbind(i, sample(5, ile, replace = TRUE))]
nowe <- X[i, ] + runif(ile) * (X[j, ] - X[i, ])
calkowite <- setdiff(predyktory, "log_kwota")                 # zmienne 0/1 i liczby całkowite zaokrąglamy
nowe[, calkowite] <- round(nowe[, calkowite])
train_smote <- rbind(train[, c(predyktory, "wyludzenie")], data.frame(nowe, wyludzenie = 1))
rl_smote <- glm(wzor, family = binomial, data = train_smote)
# Przeważanie: każde wyłudzenie dostaje wagę = liczba uczciwych / liczba wyłudzeń
w <- ifelse(train$wyludzenie == 1, sum(train$wyludzenie == 0) / sum(train$wyludzenie == 1), 1)
rl_wagi <- suppressWarnings(glm(wzor, family = binomial, data = train, weights = w))
c(wyludzenia_w_smote_proc = 100 * mean(train_smote$wyludzenie), waga_wyludzenia = round(w[train$wyludzenie == 1][1], 1))

y <- test$wyludzenie
modele <- list("Bez korekty" = test$p_rl, "SMOTE" = predict(rl_smote, test, type = "response"),
               "Przeważanie" = predict(rl_wagi, test, type = "response"))
ocena <- t(sapply(modele, function(p) {
  ez <- oczekiwany(p, test$kwota); k200 <- wybierz(ez, budzet)
  c(AUC = auc(p, y), AP = ap(p, y), srednie_ryzyko_proc = 100 * mean(p), odsetek_wyludzen_proc = 100 * mean(y),
    kontrole_mies_ez_dodatni = sum(ez > 0) / 6, zysk_mies_ez_dodatni = sum(zysk_kontroli(y, test$kwota)[ez > 0]) / 6,
    zysk_mies_budzet_200 = sum(zysk_kontroli(y, test$kwota)[k200]) / 6, wykryte_200 = sum(y[k200]))
}))
round(ocena, 3)

# Kalibracja w decylach przewidywanego ryzyka (po 1500 szkód) z 95% przedziałami Wilsona
kal <- do.call(rbind, lapply(names(modele), function(nz) {
  p <- modele[[nz]]; g <- ceiling(10 * rank(p, ties.method = "first") / length(p))
  do.call(rbind, lapply(split(seq_along(p), g), function(ix) {
    ci <- prop.test(sum(y[ix]), length(ix), correct = FALSE)$conf.int
    data.frame(model = nz, przewidywane = mean(p[ix]), obserwowane = mean(y[ix]), dolna = ci[1], gorna = ci[2])
  }))
}))
kal$model <- factor(kal$model, names(modele))
print(transform(subset(kal, przewidywane == ave(przewidywane, model, FUN = max)),
                przewidywane = round(100 * przewidywane, 1), obserwowane = round(100 * obserwowane, 1),
                dolna = NULL, gorna = NULL), row.names = FALSE)   # decyl o najwyższym ryzyku

kol_k <- c("Bez korekty" = "#0072B2", "SMOTE" = "#D55E00", "Przeważanie" = "#CC79A7")
p5a <- ggplot(kal, aes(100 * przewidywane, 100 * obserwowane, colour = model, shape = model)) +
  geom_abline(slope = 1, intercept = 0, linetype = "22", colour = "grey40") +
  geom_errorbar(aes(ymin = 100 * dolna, ymax = 100 * gorna), width = 0, alpha = 0.6) +
  geom_line(linewidth = 0.7) + geom_point(size = 2.8) +
  scale_x_log10(breaks = c(0.1, 1, 10, 100), labels = c("0.1", "1", "10", "100")) +
  scale_y_log10(breaks = c(0.1, 1, 10, 100), labels = c("0.1", "1", "10", "100")) +
  coord_equal(xlim = c(0.1, 100), ylim = c(0.1, 100)) +
  scale_colour_manual(values = kol_k, name = NULL) + scale_shape_manual(values = c(16, 17, 15), name = NULL) +
  labs(x = "Przewidywane ryzyko (%, skala log)", y = "Wyłudzenia naprawdę (%, z 95% CI)",
       title = "A. Kalibracja w decylach ryzyka", subtitle = "Linia przerywana = idealna zgodność") + motyw
sl <- data.frame(model = factor(rownames(ocena), names(modele)), kontrole = ocena[, "kontrole_mies_ez_dodatni"])
p5b <- ggplot(sl, aes(model, kontrole, fill = model)) +
  geom_col(width = 0.65) + geom_hline(yintercept = budzet, linetype = "22", colour = "grey40") +
  geom_text(aes(label = round(kontrole)), vjust = -0.3, size = 4.3, colour = "grey15") +
  scale_fill_manual(values = kol_k, guide = "none") +
  scale_y_continuous(expand = expansion(mult = c(0, 0.12))) +
  labs(x = NULL, y = "Kontrole miesięcznie", title = "B. Ile szkód „opłaca się” kontrolować?",
       subtitle = "Oczekiwany zysk > 0; linia = budżet 200") + motyw
p5 <- p5a + p5b + plot_layout(widths = c(1.2, 1), guides = "collect") & theme(legend.position = "bottom")
p5   # zapis: ggsave("naduzycia-smote-kalibracja.svg", p5, width = 10, height = 5.8)
Wynik w R
wyludzenia_w_smote_proc         waga_wyludzenia 
                   50.0                    55.7 
              AUC    AP srednie_ryzyko_proc odsetek_wyludzen_proc
Bez korekty 0.835 0.138               1.801                   1.8
SMOTE       0.835 0.136              36.224                   1.8
Przeważanie 0.836 0.136              36.071                   1.8
            kontrole_mies_ez_dodatni zysk_mies_ez_dodatni zysk_mies_budzet_200
Bez korekty                  166.500             131310.2            138137.83
SMOTE                       2099.667            -648567.9             97537.33
Przeważanie                 2107.167            -652317.9             95446.83
            wykryte_200
Bez korekty         121
SMOTE                62
Przeważanie          61
       model przewidywane obserwowane
 Bez korekty          9.2        10.6
       SMOTE         81.2        10.5
 Przeważanie         81.2        10.5

6. Etykiety tylko dla skontrolowanych: Rysunek 5

Dane wejściowe: train, test, predyktory, rl, auc() i ap() z przepisu 2 oraz funkcje z przepisu 3.

Co odczytać: liczbę skontrolowanych szkód i widocznych wyłudzeń, AUC, AP, średnie ryzyko, wykryte wyłudzenia (także przez warsztaty powiązane) i zysk w trzech wariantach oraz ilorazy szans.

R
# Przepis 6. Etykiety tylko dla skontrolowanych szkód: model uczy się dawnych reguł kontroli
# (korzysta z train, test, predyktory, rl, auc(), ap() z przepisu 2 oraz oczekiwany(), zysk_kontroli(),
#  wybierz() i budzet z przepisu 3)
library(ggplot2)
library(patchwork)

# Wariant 1: nieskontrolowane szkody traktujemy jak uczciwe (etykieta = wynik kontroli albo 0)
rl_etyk <- glm(reformulate(predyktory, "etykieta_z_kontroli"), family = binomial, data = train)
# Wariant 2: uczymy tylko na skontrolowanych szkodach (etykiety prawdziwe, ale próba wybrana regułami)
rl_skontr <- glm(reformulate(predyktory, "wyludzenie"), family = binomial, data = subset(train, kontrola_dawniej == 1))
c(skontrolowane_w_uczacym = sum(train$kontrola_dawniej), wyludzenia_widoczne = sum(train$etykieta_z_kontroli),
  wyludzenia_prawdziwe = sum(train$wyludzenie))

y <- test$wyludzenie
warianty <- list("Prawdziwe etykiety" = rl, "Brak kontroli = 0" = rl_etyk,
                 "Tylko skontrolowane" = rl_skontr)
wyn <- t(sapply(warianty, function(m) {
  p <- predict(m, test, type = "response"); k200 <- wybierz(oczekiwany(p, test$kwota), budzet)
  c(AUC = auc(p, y), AP = ap(p, y), srednie_ryzyko_proc = 100 * mean(p), wykryte_200 = sum(y[k200]),
    wykryte_warsztat = sum(y[k200] * test$warsztat_powiazany[k200]),
    zysk_mies_200 = sum(zysk_kontroli(y, test$kwota)[k200]) / 6)
}))
round(wyn, 3)
c(wyludzenia_test = sum(y), w_tym_warsztat = sum(y * test$warsztat_powiazany))

# Ilorazy szans trzech wybranych cech w trzech wariantach (95% CI)
cechy <- c("nowa_polisa", "warsztat_powiazany", "log_kwota", "noc")
or <- do.call(rbind, lapply(names(warianty), function(nz) {
  m <- warianty[[nz]]; ci <- exp(confint.default(m)[cechy, ])
  data.frame(wariant = nz, cecha = cechy, OR = exp(coef(m)[cechy]), dolna = ci[, 1], gorna = ci[, 2])
}))
print(transform(or, OR = round(OR, 2), dolna = round(dolna, 2), gorna = round(gorna, 2)), row.names = FALSE)

kol_e <- c("Prawdziwe etykiety" = "#0072B2", "Brak kontroli = 0" = "#E69F00", "Tylko skontrolowane" = "#CC79A7")
or$wariant <- factor(or$wariant, names(kol_e))
or$cecha <- factor(or$cecha, rev(cechy), rev(c("nowa polisa (≤ 30 dni)", "warsztat powiązany", "log kwoty (+1)", "noc (22–5)")))
p6a <- ggplot(or, aes(OR, cecha, colour = wariant, shape = wariant)) +
  geom_vline(xintercept = 1, linetype = "22", colour = "grey40") +
  geom_errorbar(aes(xmin = dolna, xmax = gorna), width = 0, orientation = "y", position = position_dodge(0.6)) +
  geom_point(size = 3, position = position_dodge(0.6)) +
  scale_x_log10() +
  scale_colour_manual(values = kol_e, name = NULL) + scale_shape_manual(values = c(16, 17, 15), name = NULL) +
  labs(x = "Iloraz szans (95% CI, skala log)", y = NULL, title = "A. Czego nauczył się model?",
       subtitle = "Miesiące 1–18") + motyw
wd <- data.frame(wariant = factor(rownames(wyn), names(kol_e)), wykryte = wyn[, "wykryte_200"],
                 zysk = wyn[, "zysk_mies_200"])
p6b <- ggplot(wd, aes(wariant, wykryte, fill = wariant)) +
  geom_col(width = 0.65) +
  geom_text(aes(label = sprintf("%d\n%.0f tys. zł/mies.", wykryte, zysk / 1000)), vjust = -0.15, size = 3.9,
            lineheight = 0.95, colour = "grey15") +
  scale_fill_manual(values = kol_e, guide = "none") +
  scale_x_discrete(labels = c("Prawdziwe", "Brak kontroli\n= 0", "Tylko\nskontrolowane")) +
  scale_y_continuous(expand = expansion(mult = c(0, 0.25))) +
  labs(x = NULL, y = sprintf("Wykryte wyłudzenia (z %d)", sum(y)), title = "B. Miesiące 19–24",
       subtitle = "200 kontroli/mies. według p × kwota") + motyw
p6 <- p6a + p6b + plot_layout(widths = c(1.15, 1), guides = "collect") & theme(legend.position = "bottom")
p6   # zapis: ggsave("naduzycia-etykiety-z-kontroli.svg", p6, width = 10, height = 5.8)
Wynik w R
skontrolowane_w_uczacym     wyludzenia_widoczne    wyludzenia_prawdziwe 
                   3560                     147                     793 
                      AUC    AP srednie_ryzyko_proc wykryte_200
Prawdziwe etykiety  0.835 0.138               1.801         121
Brak kontroli = 0   0.793 0.094               0.337          91
Tylko skontrolowane 0.832 0.135               1.661         113
                    wykryte_warsztat zysk_mies_200
Prawdziwe etykiety                31     138137.83
Brak kontroli = 0                 14      96103.33
Tylko skontrolowane               24     124067.25
wyludzenia_test  w_tym_warsztat 
            270              50 
             wariant              cecha    OR dolna gorna
  Prawdziwe etykiety        nowa_polisa  7.77  6.47  9.33
  Prawdziwe etykiety warsztat_powiazany  3.93  3.23  4.79
  Prawdziwe etykiety          log_kwota  1.47  1.34  1.61
  Prawdziwe etykiety                noc  2.01  1.70  2.38
   Brak kontroli = 0        nowa_polisa 14.19  9.08 22.17
   Brak kontroli = 0 warsztat_powiazany  3.12  1.90  5.12
   Brak kontroli = 0          log_kwota  4.04  3.19  5.12
   Brak kontroli = 0                noc 15.86 10.91 23.06
 Tylko skontrolowane        nowa_polisa 13.33  8.50 20.92
 Tylko skontrolowane warsztat_powiazany  3.31  1.96  5.59
 Tylko skontrolowane          log_kwota  1.65  1.30  2.10
 Tylko skontrolowane                noc  2.18  1.32  3.59

7. Kontrola palety: symulacja zaburzeń widzenia barw

Dane wejściowe: nic – pary kolorów z rysunków.

Co odczytać: odległość barw ΔE w widzeniu typowym i po symulacji deuteranopii i protanopii; para czerwony–zielony dla porównania.

R
# Przepis 7. Czy paleta przetrwa zaburzenia widzenia barw? Symulacja w pakiecie colorspace
library(colorspace)
pary <- list("regresja – las" = c("#0072B2", "#D55E00"), "regresja – p × kwota" = c("#0072B2", "#009E73"),
             "las – p × kwota" = c("#D55E00", "#009E73"), "las – losowy wybór" = c("#D55E00", "#8C8C8C"),
             "SMOTE – przeważanie" = c("#D55E00", "#CC79A7"), "bez korekty – przeważanie" = c("#0072B2", "#CC79A7"),
             "prawdziwe – brak kontroli = 0" = c("#0072B2", "#E69F00"), "brak kontroli = 0 – tylko skontrolowane" = c("#E69F00", "#CC79A7"),
             "komórka zysku – straty" = c("#cfe3f2", "#f7dcc8"),
             "czerwony – zielony (do unikania)" = c("#E41A1C", "#4DAF4A"))
roznica <- function(k) {           # odległość barw w przestrzeni CIELAB (ΔE)
  lab <- coords(as(hex2RGB(k), "LAB")); sqrt(sum((lab[1, ] - lab[2, ])^2))
}
round(t(sapply(pary, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(k)),
                                   protanopia = roznica(protan(k))))), 1)
Wynik w R
                                        widzenie_typowe deuteranopia protanopia
regresja – las                                    114.6        108.3       91.9
regresja – p × kwota                               70.1         55.4       58.0
las – p × kwota                                   102.4         53.5       37.3
las – losowy wybór                                 76.8         62.6       54.8
SMOTE – przeważanie                                74.3         70.2       71.9
bez korekty – przeważanie                          53.6         42.0       22.5
prawdziwe – brak kontroli = 0                     120.2        121.5      109.3
brak kontroli = 0 – tylko skontrolowane            88.6         81.3       87.6
komórka zysku – straty                             24.8         24.8       20.8
czerwony – zielony (do unikania)                  121.7         21.1       31.6

Bibliografia oprogramowania

Wyniki na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3. Losowanie danych, regresja logistyczna (glm()), odległości w SMOTE (dist()) i przedziały Wilsona (prop.test()) – pakiet stats z podstawowej instalacji R; las losowy – pakiet ranger. Rysunki wykonano w pakiecie ggplot2, panele złożono pakietem patchwork i zapisano pakietem svglite, a paletę sprawdzono pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. ranger (wersja 0.18.0): Wright, M. N., & Ziegler, A. (2017). ranger: A fast implementation of random forests for high dimensional data in C++ and R. Journal of Statistical Software, 77(1), 1–17. https://doi.org/10.18637/jss.v077.i01
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  4. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  5. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1). https://doi.org/10.18637/jss.v096.i01
  6. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Pułapki

  • Trafność i próg 0.5. 98.20% trafności ma reguła, która nie wykrywa nic, a próg 0.5 nie wskazał żadnej szkody (rysunek 1).
  • Wyrównywanie klas bez korekty. SMOTE i wagi zawyżyły ryzyko ponad dwudziestokrotnie (rysunek 4); próg z kosztów przestaje wtedy działać.
  • Etykiety z dawnych kontroli. Model uczy się, kogo sprawdzano, a nie kto oszukiwał (rysunek 5).

Najczęstsze pytania

Dlaczego trafność 98% nie świadczy o dobrym modelu wykrywania nadużyć?

Bo przy rzadkim zdarzeniu trafność mierzy głównie jego rzadkość. W przykładzie 1.8% szkód to wyłudzenia, więc reguła „nikt nie oszukuje” ma 98.20% trafności, a regresja logistyczna z progiem 0.5 – 98.19% przy zerze wykrytych wyłudzeń. Podawaj precyzję (odsetek trafnych alarmów) i czułość (odsetek wykrytych wyłudzeń).

Krzywa ROC czy krzywa precyzja–czułość przy rzadkich zdarzeniach?

Pokaż obie, ale wnioski o praktycznej skuteczności opieraj na krzywej PR. W przykładzie AUC wyniosło .835, a przy czułości 50% precyzja tylko 12.3% – około 12 trafnych alarmów na 100. Krzywa ROC tego nie pokazuje, bo nie zależy od częstości zdarzenia. Zob. krzywa precyzja–czułość.

Jak wybrać próg alarmu przy ograniczonym budżecie kontroli?

Policz oczekiwany zysk z kontroli każdej sprawy (ryzyko × odzyskana kwota minus koszty) i co miesiąc kontroluj sprawy o najwyższym zysku w ramach budżetu. W przykładzie przy 200 kontrolach dało to 138 138 zł miesięcznie, a wybór według samego ryzyka 117 744 zł. Wymaga to dobrze skalibrowanego modelu.

Czy przy rzadkich zdarzeniach warto stosować SMOTE?

Zwykle nie, jeśli ryzyko służy do rachunku kosztów. W przykładzie SMOTE nie zmienił AUC (.835), ale zawyżył średnie ryzyko z 1.80% do 36.2% i przy budżecie 200 kontroli zmniejszył liczbę wykrytych wyłudzeń z 121 do 62. Zamiast wyrównywać klasy, zmień próg lub wybieraj według budżetu – zob. nierównowaga klas.

Co zrobić, gdy wiemy tylko, które skontrolowane sprawy były nadużyciem?

Nie traktuj niekontrolowanych spraw jak uczciwych bez zastrzeżeń – model nauczy się dawnych reguł kontroli. W przykładzie wykrył wtedy 91 zamiast 121 wyłudzeń. Kontroluj co miesiąc małą losową próbę spraw, a w pracy opisz ryzyko błędu weryfikacji.

Powiązane hasła

Przeczytaj też

Budujesz model wykrywania nadużyć do pracy z finansów?

Pomożemy podzielić dane w czasie, dobrać miary dla rzadkich zdarzeń, policzyć koszt alarmu i budżet kontroli oraz opisać wyniki tak, żebyś umiał(a) je obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Begg, C. B., & Greenes, R. A. (1983). Assessment of diagnostic tests when disease verification is subject to selection bias. Biometrics, 39(1), 207–215. https://doi.org/10.2307/2530820
  2. Bolton, R. J., & Hand, D. J. (2002). Statistical fraud detection: A review. Statistical Science, 17(3), 235–255. https://doi.org/10.1214/ss/1042727940 ● Otwarty dostęp
  3. Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5–32. https://doi.org/10.1023/a:1010933404324 ● Otwarty dostęp: pełny tekst
  4. Chawla, N. V., Bowyer, K. W., Hall, L. O., & Kegelmeyer, W. P. (2002). SMOTE: Synthetic minority over-sampling technique. Journal of Artificial Intelligence Research, 16, 321–357. https://doi.org/10.1613/jair.953 ● Otwarty dostęp
  5. Saito, T., & Rehmsmeier, M. (2015). The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PLOS ONE, 10(3), Article e0118432. https://doi.org/10.1371/journal.pone.0118432 ● Otwarty dostęp
  6. van den Goorbergh, R., van Smeden, M., Timmerman, D., & Van Calster, B. (2022). The harm of class imbalance corrections for risk prediction models: Illustration and simulation using logistic regression. Journal of the American Medical Informatics Association, 29(9), 1525–1534. https://doi.org/10.1093/jamia/ocac093 ● Otwarty dostęp
  7. Viaene, S., Derrig, R. A., Baesens, B., & Dedene, G. (2002). A comparison of state-of-the-art classification techniques for expert automobile insurance claim fraud detection. Journal of Risk and Insurance, 69(3), 373–421. https://doi.org/10.1111/1539-6975.00023

Cytowania BibTeX

@article{begg1983assessment, author={Begg, Colin B. and Greenes, Robert A.}, title={{Assessment of diagnostic tests when disease verification is subject to selection bias}}, journal={Biometrics}, year={1983}, volume={39}, number={1}, pages={207--215}, doi={10.2307/2530820}}
@article{bolton2002statistical, author={Bolton, Richard J. and Hand, David J.}, title={{Statistical fraud detection: A review}}, journal={Statistical Science}, year={2002}, volume={17}, number={3}, pages={235--255}, doi={10.1214/ss/1042727940}}
@article{breiman2001random, author={Breiman, Leo}, title={{Random forests}}, journal={Machine Learning}, year={2001}, volume={45}, number={1}, pages={5--32}, doi={10.1023/a:1010933404324}}
@article{chawla2002smote, author={Chawla, Nitesh V. and Bowyer, Kevin W. and Hall, Lawrence O. and Kegelmeyer, W. Philip}, title={{SMOTE: Synthetic minority over-sampling technique}}, journal={Journal of Artificial Intelligence Research}, year={2002}, volume={16}, pages={321--357}, doi={10.1613/jair.953}}
@article{saito2015precision, author={Saito, Takaya and Rehmsmeier, Marc}, title={{The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets}}, journal={PLOS ONE}, year={2015}, volume={10}, number={3}, eid={e0118432}, doi={10.1371/journal.pone.0118432}}
@article{vandengoorbergh2022harm, author={van den Goorbergh, Ruben and van Smeden, Maarten and Timmerman, Dirk and Van Calster, Ben}, title={{The harm of class imbalance corrections for risk prediction models: Illustration and simulation using logistic regression}}, journal={Journal of the American Medical Informatics Association}, year={2022}, volume={29}, number={9}, pages={1525--1534}, doi={10.1093/jamia/ocac093}}
@article{viaene2002comparison, author={Viaene, Stijn and Derrig, Richard A. and Baesens, Bart and Dedene, Guido}, title={{A comparison of state-of-the-art classification techniques for expert automobile insurance claim fraud detection}}, journal={Journal of Risk and Insurance}, year={2002}, volume={69}, number={3}, pages={373--421}, doi={10.1111/1539-6975.00023}}
R