Statystyka · Wykresy

Krzywa ROC w obrazkach: od dwóch rozkładów do AUC

Dwa rozkłady wyników skali przesiewowej, próg przesuwany w czterech miejscach i krzywa ROC złożona z punktów. AUC sprawdzone na 15 000 parach i statystyce U Manna–Whitneya, kształt krzywej przy d = 0.5, 1 i 2, indeks Youdena a koszty błędów oraz przedział ufności dla AUC – sześć rysunków z R, podpisy APA i zdania do pracy.

Strona główna / Blog / Krzywa ROC w obrazkach
W skrócie: Krzywa ROC to wszystkie możliwe progi naraz: każdy próg daje parę (1 − swoistość, czułość), a pary układają się w krzywą. AUC to odsetek par „osoba z rozpoznaniem – osoba bez”, w których pierwsza ma wyższy wynik – w przykładzie 83.6% z 15 000 par, dokładnie tyle, ile daje statystyka U Manna–Whitneya podzielona przez liczbę par. Im mniej rozkłady na siebie zachodzą, tym bardziej krzywa wybrzusza się ku górze (d = 1 → AUC = .76). Indeks Youdena wskazuje próg optymalny tylko przy określonej relacji kosztów błędów i częstości zaburzenia; AUC podawaj z przedziałem ufności (tu .836, 95% CI [.787, .885]).

Dwa rozkłady, jeden próg, jedna krzywa

Krzywa ROC zwykle pojawia się w pracy jako gotowy obrazek z programu: niebieska linia, przekątna i liczba AUC. Ten wpis rozkłada ją na części. Zaczynamy od dwóch rozkładów wyników – osób z rozpoznaniem i bez – i przesuwamy po nich próg. Każde położenie progu daje jedną parę liczb, każda para to jeden punkt, a punkty składają się w krzywą. Potem sprawdzamy na liczbach, dlaczego pole pod krzywą to po prostu odsetek wygranych par, skąd bierze się kształt krzywej i dlaczego „najlepszy” próg zależy od kosztów błędów.

Pełną procedurę analizy (tabela progów, przedziały dla czułości i swoistości, test DeLonga, opis w pracy) znajdziesz we wpisie krzywa ROC i punkt odcięcia krok po kroku, a okna programu – w poradniku krzywa ROC w SPSS. Tu zajmujemy się wyłącznie obrazem.

Przykład jest fikcyjny: 250 osób wypełniło skalę przesiewową, a niezależna diagnoza kliniczna rozpoznała zaburzenie u 100 z nich. Wyniki wylosowaliśmy w R z rozkładów normalnych o średnich 62 i 50 punktów i SD = 10. Parametry ustawiliśmy ręcznie tak, by rozkłady wyraźnie na siebie zachodziły, a skala mimo to dobrze rozróżniała grupy. Ziarna 583 nie zmienialiśmy. W próbie osoby z rozpoznaniem miały średnio M = 63.77 pkt (SD = 10.90), a osoby bez rozpoznania M = 48.55 pkt (SD = 11.31). Dane pobierzesz jako plik CSV (link w sekcji z kodem).

Rysunek 1: dwa rozkłady i ruchomy próg

Cztery panele, każdy z dwiema krzywymi gęstości: ciągła dla osób z rozpoznaniem (szczyt około 65 pkt) i przerywana dla osób bez rozpoznania (szczyt około 49 pkt), oraz pionowa linia progu przy 45, 52, 58 i 65 pkt. Pole na prawo od progu jest zacienione. Opisy w panelach: czułość 97%, 85%, 71% i 45%; fałszywe alarmy 65%, 40%, 19% i 7%
Rysunek 1. Ten sam zbiór danych przy czterech progach: pole na prawo od progu to wyniki dodatnie. Obliczenia: R (dane fikcyjne, set.seed(583)).

Co widać. Ciągła linia to rozkład wyników osób z rozpoznaniem, przerywana – osób bez rozpoznania. Pionowa linia to próg: wynik równy progowi lub wyższy uznajemy za dodatni. Zacienione pole pod ciągłą linią na prawo od progu to czułość (odsetek osób z rozpoznaniem wykrytych przez skalę). Pole pod linią przerywaną na prawo od progu to odsetek fałszywych alarmów, czyli 1 − swoistość. Przesuwając próg w prawo, zmniejszasz oba pola naraz. Z liczb wygląda to tak:

Czułość i swoistość skali przesiewowej dla czterech progów (dane fikcyjne, 100 osób z rozpoznaniem, 150 bez rozpoznania)
Wynik dodatni odTP / FNFP / TNCzułośćSwoistość1 − swoistość
45 pkt97 / 397 / 5397.0%35.3%64.7%
52 pkt85 / 1560 / 9085.0%60.0%40.0%
58 pkt71 / 2929 / 12171.0%80.7%19.3%
65 pkt45 / 5511 / 13945.0%92.7%7.3%

Czego ten wykres nie pokazuje. Krzywe to wygładzone gęstości, a liczby w tabeli pochodzą z samych danych. Wykres nie mówi też nic o tym, jak często zaburzenie występuje w populacji: obie krzywe mają pole równe 1, choć grupy liczą 100 i 150 osób. Dlatego z rysunku nie odczytasz wartości predykcyjnych – te zależą od częstości zaburzenia. Pełny zestaw miar z tabeli 2 × 2 opisuje hasło macierz pomyłek.

Podpis do pracy:

Rysunek 1. Rozkłady wyników skali przesiewowej u osób z rozpoznaniem i bez rozpoznania przy czterech progach. Uwaga. N = 250 (100 osób z rozpoznaniem, 150 bez rozpoznania). Krzywe to estymatory jądrowe gęstości. Pole zacienione na prawo od pionowej linii odpowiada wynikom dodatnim: pod linią ciągłą – czułości, pod linią przerywaną – odsetkowi fałszywych alarmów.

Zdanie do Wyników:

Przy progu 58 pkt skala wykryła 71.0% osób z rozpoznaniem (czułość), a wynik ujemny uzyskało 80.7% osób bez rozpoznania (swoistość); obniżenie progu do 52 pkt zwiększało czułość do 85.0% kosztem spadku swoistości do 60.0%.

Rysunek 2: każdy próg to punkt na krzywej

Schodkowa krzywa ROC od lewego dolnego do prawego górnego rogu, wyraźnie nad przerywaną przekątną; AUC = 0.836. Cztery kółka z podpisami: 65 pkt (0.07; 0.45), 58 pkt (0.19; 0.71), 52 pkt (0.40; 0.85), 45 pkt (0.65; 0.97)
Rysunek 2. Krzywa ROC z zaznaczonymi progami z rysunku 1. Obliczenia: R, pakiet pROC (dane fikcyjne).

Co widać. Cztery progi z rysunku 1 zamieniły się w cztery kółka o współrzędnych (1 − swoistość; czułość). Krzywa łączy wszystkie progi, jakie dają dane – tu 62 punkty, od lewego dolnego rogu (próg wyższy od każdego wyniku: nikt nie jest dodatni) do prawego górnego (próg niższy od każdego wyniku: wszyscy są dodatni). Obniżanie punktu odcięcia przesuwa nas po krzywej w prawo i w górę. Pole pod krzywą wynosi AUC = .836. Przekątna to skala, która nie rozróżnia grup: czułość rośnie dokładnie tak samo jak odsetek fałszywych alarmów.

Jak może zmylić. Na krzywej nie widać samych progów. Punkt (0.19; 0.71) jest wartościowy dopiero wtedy, gdy wiesz, że odpowiada wynikowi 58 pkt – dlatego warto podpisać kilka progów bezpośrednio na wykresie. Schodki są cechą małej próby: każdy krok w górę to jedna lub kilka osób z rozpoznaniem, każdy krok w prawo – osoby bez rozpoznania. Wygładzona, „ładna” krzywa z programu zwykle pochodzi z modelu, a nie z danych.

Podpis do pracy:

Rysunek 2. Krzywa ROC skali przesiewowej względem diagnozy klinicznej. Uwaga. N = 250. Kółkami oznaczono progi 45, 52, 58 i 65 pkt (w nawiasach: 1 − swoistość; czułość). Linia przerywana oznacza rozróżnianie na poziomie przypadku (AUC = .50).

Zdanie do Wyników:

Pole pod krzywą ROC wyniosło AUC = .836, 95% CI [.787, .885] (metoda DeLonga; Rysunek 2).

Rysunek 3: AUC to odsetek wygranych par

Prostokątna mapa 150 na 100 kratek: oś pozioma – osoby bez rozpoznania, oś pionowa – osoby z rozpoznaniem, obie posortowane rosnąco. Większość pola, nad wypukłą granicą biegnącą od lewego dolnego do prawego górnego rogu, jest pomarańczowa (wyżej osoba z rozpoznaniem), mały obszar w prawym dolnym rogu jasnoniebieski (wyżej osoba bez rozpoznania), wzdłuż granicy czarne prostokąty remisów. Tytuł: 15 000 par, pomarańczowe pole 83.6% = AUC
Rysunek 3. Wszystkie 15 000 par osoba z rozpoznaniem – osoba bez rozpoznania. Obliczenia: R (dane fikcyjne).

Co widać. Każda kratka to jedna para: osoba z rozpoznaniem (oś pionowa) kontra osoba bez rozpoznania (oś pozioma), obie grupy posortowane od najniższego wyniku. Par jest 100 × 150 = 15 000. Osoba z rozpoznaniem miała wyższy wynik w 12 420 parach (pole pomarańczowe), niższy w 2327 (pole jasnoniebieskie), a w 253 parach był remis (czarne prostokąty). Odsetek wygranych, z remisami liczonymi po połowie, to (12 420 + 253/2) / 15 000 = .836 – dokładnie AUC z rysunku 2. Hanley i McNeil (1982) opisali tę zależność wprost: pole pod krzywą ROC to prawdopodobieństwo, że losowo wybrana osoba chora uzyska wynik bardziej „podejrzany” niż losowo wybrana osoba zdrowa, i ta sama wielkość, którą szacuje statystyka Wilcoxona. Granica między pomarańczowym a niebieskim polem to zresztą ta sama krzywa ROC, tylko obrócona o 180°.

Stąd prosty związek z testem U Manna–Whitneya. Funkcja wilcox.test() w R zwraca W = 12 546.5, czyli liczbę wygranych par z remisami po połowie; podzielona przez 15 000 daje znowu .8364. AUC jest więc wielkością efektu dla testu U – tym samym prawdopodobieństwem przewagi, które opisują wpisy wielkość efektu w testach nieparametrycznych i test U Manna–Whitneya w obrazkach.

Czego ten wykres nie pokazuje. Progu. AUC uśrednia wszystkie progi naraz, także te, których nikt nie użyje. Dwie skale o tym samym AUC mogą mieć zupełnie różną czułość przy wysokiej swoistości – jeśli liczy się tylko fragment krzywej, rozważ częściowe pole pod krzywą (pAUC). Istotny wynik testu U (p < .001) mówi tylko, że AUC różni się od .50, a nie że skala nadaje się do diagnozy.

Podpis do pracy:

Rysunek 3. Porównanie wyników skali we wszystkich parach osoba z rozpoznaniem – osoba bez rozpoznania. Uwaga. 100 × 150 = 15 000 par; obie grupy posortowano rosnąco według wyniku. Udział pola, w którym wyższy wynik miała osoba z rozpoznaniem (remisy liczone po połowie), jest równy polu pod krzywą ROC (AUC = .836).

Zdanie do Wyników:

Losowo wybrana osoba z rozpoznaniem uzyskiwała wyższy wynik skali niż losowo wybrana osoba bez rozpoznania w 83.6% par (AUC = .836; test U Manna–Whitneya: W = 12 546.5, p < .001).

Rysunek 4: nakładanie się rozkładów a kształt krzywej

Panel A: trzy pary krzywych rozkładu normalnego przesunięte o d = 0.5 (AUC 0.64), 1 (AUC 0.76) i 2 (AUC 0.92); przy d = 0.5 krzywe niemal się pokrywają, przy d = 2 prawie rozdzielone. Panel B: trzy gładkie krzywe ROC ze wzoru – im większe d, tym bliżej lewego górnego rogu – oraz cienkie schodkowe krzywe z prób po 100 osób, które dla d = 0.5 i 1 częściowo się przeplatają
Rysunek 4. Nakładanie się rozkładów (A) i kształt krzywej ROC (B) dla d = 0.5, 1 i 2. Obliczenia: R (wzór i symulacja, set.seed(583)).

Co widać. Panel A pokazuje trzy pary rozkładów normalnych o tym samym SD, przesunięte o d = 0.5, 1 i 2 odchylenia standardowe. Panel B – odpowiadające im krzywe ROC. Im mniej rozkłady na siebie zachodzą, tym bardziej krzywa wybrzusza się ku lewemu górnemu rogowi. W tym modelu AUC zależy tylko od d: AUC = Φ(d/√2), czyli .638, .760 i .921. Te same liczby jako „prawdopodobieństwo przewagi” znajdziesz we wpisie wielkość efektu w obrazkach. Nasza skala z rysunków 1–3 (AUC = .836) leży między krzywymi dla d = 1 i d = 2.

Jak może zmylić. Cienkie schodki to krzywe z prób po 100 osób w grupie. Dla d = 0.5 próba dała AUC = .694 zamiast .638, a dla d = 1 – .717 zamiast .760; dla d = 0.5 i 1 schodki chwilami zamieniają się kolejnością. Przy takich liczebnościach dwie skale o „prawdziwej” różnicy AUC rzędu .1 mogą w próbie wypaść odwrotnie. Wzór zakłada też równe SD w obu grupach – gdy SD się różnią, krzywa przestaje być symetryczna i może przeciąć przekątną.

Podpis do pracy:

Rysunek 4. Nakładanie się rozkładów wyników a kształt krzywej ROC. Uwaga. Panel A: rozkłady normalne o równych SD przesunięte o d = 0.5, 1 i 2. Panel B: krzywe ROC wyznaczone ze wzoru (linie grube) i z symulowanych prób po 100 osób w grupie (linie cienkie). AUC ze wzoru: .638, .760 i .921.

Zdanie do Metody (gdy uzasadniasz oczekiwane AUC):

Przy założeniu normalności wyników i równych wariancji w obu grupach różnica średnich o jedno odchylenie standardowe (d = 1) odpowiada polu pod krzywą ROC równemu .76.

Rysunek 5: indeks Youdena i koszty błędów

Panel A: krzywa ROC z pionową dwustronną strzałką od przekątnej do punktu krzywej przy 1 − swoistość 0.19 i czułości 0.71; podpis J = 0.517, od 58 pkt. Panel B: trzy krzywe oczekiwanego kosztu na 100 badanych w funkcji progu od 25 do 85 pkt; minima zaznaczone kółkami przy 70 pkt (waga 1), 58 pkt (waga 9) i 51 pkt (waga 20)
Rysunek 5. Indeks Youdena (A) i próg o najmniejszym koszcie przy trzech wagach przeoczenia (B). Obliczenia: R (dane fikcyjne).

Co widać. Panel A: indeks Youdena J = czułość + swoistość − 1 to pionowa odległość punktu krzywej od przekątnej. Największa jest przy progu 58 pkt: czułość 71.0%, swoistość 80.7%, J = .517. Fluss i in. (2005) opisują J jako często stosowane podsumowanie krzywej ROC, które jednocześnie wskazuje punkt odcięcia. Panel B pokazuje, co J zakłada. Policzyliśmy oczekiwany koszt błędów na 100 badanych przy częstości zaburzenia 10%, przyjmując koszt fałszywego alarmu za 1. Gdy przeoczenie kosztuje tyle samo co fałszywy alarm, najtańszy jest próg 70 pkt (czułość tylko 31.0%). Gdy kosztuje 20 razy więcej – próg 51 pkt (czułość 91.0%, swoistość 57.3%). Próg Youdena wychodzi dokładnie przy wadze 9, czyli wtedy, gdy przeoczenie jest tyle razy droższe, ile razy więcej jest w populacji osób zdrowych niż chorych (90 : 10).

Jak może zmylić. Youden nie jest „neutralny” – przyjmuje konkretną relację kosztów i częstości, zwykle nigdzie niezapisaną. W badaniu przesiewowym, gdzie przeoczenie jest poważniejsze niż dodatkowa wizyta, rozsądny próg leży niżej. Różne kryteria „optymalności” potrafią też wskazać różne progi przy tej samej krzywej (Perkins i Schisterman, 2006). Do tego próg wybrany na tych samych danych daje zbyt optymistyczną czułość i swoistość, zwłaszcza w małych próbach (Leeflang i in., 2008). W symulacjach Flussa i in. (2005) najczęściej używana, empiryczna metoda szacowania J (ta z panelu A) wypadła ogólnie najgorzej. Wagi kosztów w panelu B są przykładowe – w pracy uzasadnij je merytorycznie.

Podpis do pracy:

Rysunek 5. Wybór progu skali przesiewowej. Uwaga. Panel A: krzywa ROC z zaznaczonym punktem maksymalnego indeksu Youdena (J = .517, wynik dodatni od 58 pkt); strzałka oznacza J jako odległość od przekątnej. Panel B: oczekiwany koszt błędnych decyzji na 100 badanych przy częstości zaburzenia 10% i trzech relacjach kosztu przeoczenia do kosztu fałszywego alarmu (1, 9 i 20); kółka oznaczają progi o najmniejszym koszcie.

Zdanie do Metody:

Punkt odcięcia wyznaczono, maksymalizując indeks Youdena, co odpowiada przyjęciu, że przy częstości zaburzenia 10% przeoczenie przypadku jest dziewięciokrotnie bardziej kosztowne niż fałszywy alarm; w analizie wrażliwości sprawdzono progi optymalne przy relacji kosztów 1 : 1 i 20 : 1.

Rysunek 6: przedział ufności dla AUC

Histogram 2000 wartości AUC z prób bootstrapowych, w przybliżeniu symetryczny, od około 0.74 do 0.92 z wierzchołkiem przy 0.84. Pionowa pomarańczowa linia przy AUC z próby 0.836; po obu stronach niemal pokrywające się pary linii granic 95% CI: bootstrap percentylowy 0.788–0.885 i DeLong 0.787–0.885
Rysunek 6. Rozkład AUC w próbach bootstrapowych i dwa 95% przedziały ufności. Obliczenia: R, pakiet pROC (dane fikcyjne, set.seed(583)).

Co widać. Histogram 2000 wartości AUC z prób bootstrapowych. Każda próba powstała przez losowanie ze zwracaniem 100 osób z rozpoznaniem i 150 bez rozpoznania (osobno w grupach, żeby proporcje grup się nie zmieniały). Środkowe 95% wartości wyznacza przedział percentylowy [.788, .885]; błąd standardowy AUC to .025. Linie przerywane to przedział [.787, .885] policzony metodą DeLonga i in. (1988), nieparametryczną, opartą na statystykach U i opracowaną pierwotnie do porównywania pól pod skorelowanymi krzywymi (test DeLonga). Oba przedziały prawie się pokrywają, a funkcja ci.auc() z pakietu pROC (Robin i in., 2011) daje przy bootstrapie [.786, .882] – nieco inne granice, bo losuje inne próby.

Czego ten wykres nie pokazuje. Przedział dotyczy AUC, a nie czułości i swoistości przy wybranym progu – te potrzebują własnych przedziałów. Bootstrap też nie naprawi próby: jeśli osoby z rozpoznaniem pochodzą z kliniki, a bez rozpoznania – z populacji ogólnej, AUC będzie zawyżone niezależnie od szerokości przedziału. Co znaczy „95%” w przedziale ufności, pokazuje wpis przedział ufności w obrazkach.

Podpis do pracy:

Rysunek 6. Rozkład pola pod krzywą ROC w 2000 próbach bootstrapowych. Uwaga. Losowanie ze zwracaniem osobno w grupie osób z rozpoznaniem (n = 100) i bez rozpoznania (n = 150). Linia pionowa pomarańczowa: AUC w próbie (.836); linie ciągłe: granice 95% przedziału percentylowego; linie przerywane: granice 95% przedziału metodą DeLonga.

Zdanie do Wyników:

Pole pod krzywą ROC wyniosło .836, 95% CI [.787, .885] (metoda DeLonga); przedział bootstrapowy percentylowy (2000 prób losowanych w obrębie grup) był niemal identyczny: [.788, .885].

Co z tych rysunków przenieść do pracy

  • W Wynikach: krzywa ROC z podpisanymi 2–4 progami (rysunek 2) i tabela progów z czułością i swoistością. AUC podaj z przedziałem ufności i metodą jego wyznaczenia.
  • Gdy uzasadniasz próg: rysunek 1 albo panel B rysunku 5 – pokazują cenę każdego przesunięcia progu. Napisz, jaką relację kosztów przyjmujesz.
  • Gdy recenzent pyta, „co znaczy AUC = .84”: jedno zdanie o parach (rysunek 3) wystarcza; samego rysunku par zwykle nie trzeba drukować.
  • Gdy wynik pochodzi z modelu (np. przewidywane prawdopodobieństwo z regresji logistycznej), krzywą buduje się tak samo – patrz regresja logistyczna w obrazkach. AUC jest wtedy jednym z dowodów trafności kryterialnej, ale nie mówi nic o kalibracji.
  • Ogólne zasady rysunków (rozmiar, czcionki, eksport) – we wpisie wykresy w pracy dyplomowej.
Przykład reprodukowalny

Kod R wszystkich rysunków i liczb

Kod odtwarza wszystkie liczby z tekstu i sześć rysunków. Uruchom przepisy po kolei w jednej sesji R: przepis 1 definiuje motyw, paletę i dane, z których korzystają następne. Każdy przepis tworzy obiekt wykresu (p1–p6); wpisz jego nazwę, żeby go wyświetlić, a do zapisu użyj ggsave() jak w komentarzu. Rysunki na tej stronie powstały dokładnie z tego kodu: motyw to skrócona wersja motywu serwisu, a pliki zapisano w formacie SVG.

Dane są fikcyjne. Średnie (62 i 50 pkt), SD = 10 i liczebności grup (100 i 150) ustaliliśmy ręcznie, tak by rozkłady wyraźnie zachodziły na siebie, a AUC było wysokie; cztery progi na rysunku 1 też wybraliśmy ręcznie. Każdy blok, który losuje (przepisy 1, 4 i 6), zaczyna od set.seed(583); ziarno ustaliliśmy raz i go nie zmienialiśmy. Bootstrap w przepisie 6 ma 2000 powtórzeń. Te same 250 obserwacji pobierzesz jako plik krzywa-roc-wyniki-przesiewowe.csv (kolumny grupa, wynik i chory: 1 – rozpoznanie, 0 – brak).

1. Motyw, paleta, dane i dwa rozkłady z progami: Rysunek 1

Dane wejściowe: nic – kod losuje wyniki 100 osób z rozpoznaniem i 150 bez rozpoznania z ręcznie ustalonych rozkładów (set.seed(583)).

Co odczytać: liczebność, średnią i SD w grupach oraz tabelę TP, FN, FP, TN, czułości i swoistości dla czterech progów; obiekt p1 to rysunek 1.

R
# Rysunek 1. Dwa rozkłady wyników (z rozpoznaniem / bez rozpoznania) i próg w czterech miejscach
options(width = 100)
library(ggplot2)

# Krótki motyw i paleta Okabe–Ito (sprawdzona w symulacji deuteranopii; kolor wspiera rodzaj linii)
motyw <- theme_minimal(base_size = 14) +
  theme(plot.title = element_text(face = "bold", colour = "#0f1d3a", size = rel(1.05)),
        plot.subtitle = element_text(colour = "grey30"),
        panel.grid.minor = element_blank(), panel.grid.major = element_line(colour = "grey88", linewidth = 0.4),
        axis.text = element_text(colour = "grey25"), strip.text = element_text(face = "bold", colour = "#0f1d3a"),
        legend.position = "bottom", plot.background = element_rect(fill = "white", colour = NA),
        plot.margin = margin(10, 14, 10, 10))
kol <- c("z rozpoznaniem" = "#D55E00", "bez rozpoznania" = "#0072B2")
lin <- c("z rozpoznaniem" = "solid", "bez rozpoznania" = "22")

# Dane fikcyjne: wynik skali przesiewowej (punkty) u 100 osób z rozpoznaniem i 150 bez rozpoznania
set.seed(583)                                   # ziarno ustalone raz, bez dobierania pod wynik
n_chorzy <- 100; n_zdrowi <- 150
dane <- data.frame(
  grupa = factor(rep(c("z rozpoznaniem", "bez rozpoznania"), c(n_chorzy, n_zdrowi)), levels = names(kol)),
  wynik = round(c(rnorm(n_chorzy, mean = 62, sd = 10),     # parametry ustawione ręcznie: d = 1.2
                  rnorm(n_zdrowi, mean = 50, sd = 10))))
dane$chory <- as.integer(dane$grupa == "z rozpoznaniem")
# write.csv(dane, "krzywa-roc-wyniki-przesiewowe.csv", row.names = FALSE)   # te same dane co w pliku CSV
aggregate(wynik ~ grupa, dane, function(x) round(c(n = length(x), M = mean(x), SD = sd(x)), 2))

# Cztery progi: wynik dodatni, gdy wynik >= próg
progi <- c(45, 52, 58, 65)
tabela <- t(sapply(progi, function(p) {
  ch <- dane$wynik[dane$chory == 1]; zd <- dane$wynik[dane$chory == 0]
  c(prog = p, TP = sum(ch >= p), FN = sum(ch < p), FP = sum(zd >= p), TN = sum(zd < p),
    czulosc = mean(ch >= p), swoistosc = mean(zd < p))
}))
tabela <- as.data.frame(tabela)
tabela$fpr <- 1 - tabela$swoistosc               # 1 − swoistość = odsetek fałszywych alarmów
cbind(tabela[, 1:5], round(tabela[, 6:8], 3))

# Gęstości jądrowe obu grup na wspólnej siatce; pole na prawo od progu = wynik dodatni
siatka <- seq(15, 100, by = 0.5)
gest <- do.call(rbind, lapply(levels(dane$grupa), function(g) {
  dd <- density(dane$wynik[dane$grupa == g], from = min(siatka), to = max(siatka), n = length(siatka))
  data.frame(grupa = g, x = dd$x, y = dd$y)
}))
gest$grupa <- factor(gest$grupa, levels = names(kol))
etyk <- function(p) sprintf("próg %d pkt", p)
d1 <- do.call(rbind, lapply(progi, function(p) cbind(gest, panel = etyk(p), prog = p)))
d1$panel <- factor(d1$panel, levels = etyk(progi))
opis1 <- data.frame(panel = factor(etyk(progi), levels = etyk(progi)), prog = progi,
                    tekst = sprintf("czułość %.0f%%\nfałszywe alarmy %.0f%%", 100 * tabela$czulosc, 100 * tabela$fpr))

p1 <- ggplot(d1, aes(x, y)) +
  geom_area(data = subset(d1, x >= prog), aes(fill = grupa), alpha = 0.35, position = "identity") +
  geom_line(aes(colour = grupa, linetype = grupa), linewidth = 0.9) +
  geom_vline(aes(xintercept = prog), colour = "grey10", linewidth = 0.7) +
  geom_text(data = opis1, aes(x = 16, y = 0.043, label = tekst), hjust = 0, vjust = 1, size = 3.8, lineheight = 0.95) +
  facet_wrap(~ panel, ncol = 2) +
  scale_fill_manual(values = kol, name = NULL) + scale_colour_manual(values = kol, name = NULL) +
  scale_linetype_manual(values = lin, name = NULL) +
  scale_y_continuous(limits = c(0, 0.044), expand = expansion(0)) +
  labs(x = "Wynik skali przesiewowej (pkt)", y = "Gęstość",
       title = "Jeden próg, dwie liczby: czułość i odsetek fałszywych alarmów",
       subtitle = "Pole zacienione na prawo od pionowej linii = wynik dodatni") + motyw
# p1   # zapis: ggsave("krzywa-roc-dwa-rozklady-progi.svg", p1, width = 10, height = 7)
Wynik w R
            grupa wynik.n wynik.M wynik.SD
1  z rozpoznaniem  100.00   63.77    10.90
2 bez rozpoznania  150.00   48.55    11.31
  prog TP FN FP  TN czulosc swoistosc   fpr
1   45 97  3 97  53    0.97     0.353 0.647
2   52 85 15 60  90    0.85     0.600 0.400
3   58 71 29 29 121    0.71     0.807 0.193
4   65 45 55 11 139    0.45     0.927 0.073

2. Krzywa ROC z pakietu pROC: Rysunek 2

Dane wejściowe: dane, tabela i motyw z przepisu 1.

Co odczytać: liczbę punktów krzywej i pole pod krzywą (AUC).

R
# Rysunek 2. Każdy próg to jeden punkt (1 − swoistość, czułość); wszystkie progi razem dają krzywą ROC
library(pROC)                                    # kontynuacja: dane, tabela, kol, motyw z bloku 1

roc1 <- roc(dane$chory, dane$wynik, levels = c(0, 1), direction = "<", quiet = TRUE)
wsp <- coords(roc1, "all", ret = c("threshold", "sensitivity", "specificity"))
nrow(wsp)                                        # liczba punktów krzywej (progi + dwa końce)
auc(roc1)

d2 <- data.frame(fpr = 1 - wsp$specificity, czulosc = wsp$sensitivity)
d2 <- d2[order(d2$fpr, d2$czulosc), ]
pkt <- data.frame(fpr = tabela$fpr, czulosc = tabela$czulosc,
                  etykieta = sprintf("%d pkt: (%.2f; %.2f)", tabela$prog, tabela$fpr, tabela$czulosc))

p2 <- ggplot(d2, aes(fpr, czulosc)) +
  geom_abline(slope = 1, intercept = 0, linetype = "dashed", colour = "grey55") +
  geom_step(colour = "#0072B2", linewidth = 1) +
  geom_point(data = pkt, size = 3.6, shape = 21, fill = "#D55E00", colour = "grey10", stroke = 0.6) +
  geom_label(data = pkt, aes(label = etykieta), hjust = 0, nudge_x = 0.025, nudge_y = -0.035,
             size = 3.7, linewidth = 0, fill = "white", alpha = 0.9) +
  annotate("text", x = 0.7, y = 0.42, label = "przekątna:\ntest bez wartości\n(AUC = 0.5)",
           size = 3.6, colour = "grey40", hjust = 0, lineheight = 0.95) +
  coord_equal() +
  scale_x_continuous(limits = c(0, 1), breaks = seq(0, 1, 0.2)) +
  scale_y_continuous(limits = c(0, 1), breaks = seq(0, 1, 0.2)) +
  labs(x = "1 − swoistość (odsetek fałszywych alarmów)", y = "Czułość",
       title = "Krzywa ROC: wszystkie progi naraz",
       subtitle = sprintf("Kółka – progi z rysunku 1; AUC = %.3f", as.numeric(auc(roc1)))) + motyw
# p2   # zapis: ggsave("krzywa-roc-progi-na-krzywej.svg", p2, width = 7.6, height = 7.6)
Wynik w R
[1] 62
Area under the curve: 0.8364

3. AUC jako odsetek wygranych par i test U: Rysunek 3

Dane wejściowe: dane, roc1 i motyw z przepisów 1–2.

Co odczytać: liczbę par wygranych, remisów i przegranych, AUC policzone trzema sposobami (pROC, pary, W z testu U) oraz statystykę W i p.

R
# Rysunek 3. AUC = odsetek par (osoba z rozpoznaniem, osoba bez), w których pierwsza ma wyższy wynik
# (kontynuacja: dane, roc1, motyw z bloków 1–2)
ch <- sort(dane$wynik[dane$chory == 1]); zd <- sort(dane$wynik[dane$chory == 0])
porownanie <- sign(outer(zd, ch, function(z, c) c - z))   # +1: wyżej osoba z rozpoznaniem, 0: remis
c(par = length(porownanie), wygrane = sum(porownanie > 0), remisy = sum(porownanie == 0),
  przegrane = sum(porownanie < 0))
auc_pary <- (sum(porownanie > 0) + 0.5 * sum(porownanie == 0)) / length(porownanie)

# Test U Manna–Whitneya: W w R to liczba wygranych par osób z rozpoznaniem (remisy po połowie)
mw <- suppressWarnings(wilcox.test(ch, zd, exact = FALSE))
round(c(AUC_pROC = as.numeric(auc(roc1)), AUC_z_par = auc_pary,
        U_przez_liczbe_par = unname(mw$statistic) / (length(ch) * length(zd))), 4)
mw$statistic; signif(mw$p.value, 3)

d3 <- expand.grid(i = seq_along(zd), j = seq_along(ch))
d3$wynik <- factor(as.vector(porownanie), levels = c(1, 0, -1),
                   labels = c("wyżej osoba z rozpoznaniem", "remis", "wyżej osoba bez rozpoznania"))
p3 <- ggplot(d3, aes(i, j, fill = wynik)) +
  geom_raster() +
  scale_fill_manual(values = c("#D55E00", "grey15", "#9FD3F2"), name = NULL) +
  guides(fill = guide_legend(nrow = 2)) +
  scale_x_continuous(expand = expansion(0), breaks = c(1, 50, 100, 150)) +
  scale_y_continuous(expand = expansion(0), breaks = c(1, 25, 50, 75, 100)) +
  coord_fixed(ratio = 1) +
  labs(x = "Osoby bez rozpoznania (posortowane od najniższego wyniku)",
       y = "Osoby z rozpoznaniem\n(posortowane)",
       title = sprintf("15 000 par: pomarańczowe pole = %.1f%% = AUC", 100 * auc_pary),
       subtitle = "Każda kratka to jedna para; remisy liczą się po połowie") + motyw
# p3   # zapis: ggsave("krzywa-roc-auc-jako-pary.svg", p3, width = 10, height = 8)
Wynik w R
      par   wygrane    remisy przegrane 
    15000     12420       253      2327 
          AUC_pROC          AUC_z_par U_przez_liczbe_par 
            0.8364             0.8364             0.8364 
      W 
12546.5 
[1] 2.03e-19

4. Nakładanie się rozkładów (d = 0.5, 1, 2) a kształt krzywej: Rysunek 4

Dane wejściowe: kol, lin i motyw z przepisu 1; próby losowane od set.seed(583).

Co odczytać: AUC ze wzoru Φ(d/√2) i AUC w próbach po 100 osób w grupie.

R
# Rysunek 4. Im mniej rozkłady na siebie zachodzą (większe d), tym bardziej krzywa ROC wybrzusza się ku górnemu lewemu rogowi
library(patchwork)                               # kontynuacja: kol, motyw z bloku 1; pROC z bloku 2
dd <- c(0.5, 1, 2)
# Model dwunormalny (równe SD): krzywa ROC i AUC ze wzoru, AUC = Φ(d / √2)
round(data.frame(d = dd, AUC_wzor = pnorm(dd / sqrt(2))), 3)

# Próba: po 100 osób w każdej grupie dla każdego d
set.seed(583)
proby <- lapply(dd, function(d) data.frame(d = d, chory = rep(1:0, each = 100),
                                           wynik = c(rnorm(100, d), rnorm(100, 0))))
auc_proby <- sapply(proby, function(p) as.numeric(auc(roc(p$chory, p$wynik, levels = c(0, 1), direction = "<", quiet = TRUE))))
round(setNames(auc_proby, sprintf("d = %.1f", dd)), 3)

etyk_d <- function(d) sprintf("d = %.1f (AUC = %.2f)", d, pnorm(d / sqrt(2)))
x <- seq(-3.5, 5.5, by = 0.05)
d4a <- do.call(rbind, lapply(dd, function(d) rbind(
  data.frame(panel = etyk_d(d), grupa = "bez rozpoznania", x = x, y = dnorm(x, 0)),
  data.frame(panel = etyk_d(d), grupa = "z rozpoznaniem", x = x, y = dnorm(x, d)))))
d4a$panel <- factor(d4a$panel, levels = etyk_d(dd)); d4a$grupa <- factor(d4a$grupa, levels = names(kol))
fpr <- seq(0, 1, by = 0.005)
d4b <- do.call(rbind, lapply(dd, function(d) data.frame(panel = etyk_d(d), fpr = fpr, czulosc = pnorm(d + qnorm(fpr)))))
d4b_emp <- do.call(rbind, lapply(seq_along(dd), function(k) {
  r <- roc(proby[[k]]$chory, proby[[k]]$wynik, levels = c(0, 1), direction = "<", quiet = TRUE)
  data.frame(panel = etyk_d(dd[k]), fpr = 1 - r$specificities, czulosc = r$sensitivities)
}))
d4b$panel <- factor(d4b$panel, levels = etyk_d(dd)); d4b_emp$panel <- factor(d4b_emp$panel, levels = etyk_d(dd))
kol_d <- setNames(c("#E69F00", "#009E73", "#0f1d3a"), etyk_d(dd))
lin_d <- setNames(c("solid", "42", "11"), etyk_d(dd))

p4a <- ggplot(d4a, aes(x, y, colour = grupa, linetype = grupa)) +
  geom_line(linewidth = 0.9) + facet_wrap(~ panel, ncol = 1) +
  scale_colour_manual(values = kol, name = NULL) + scale_linetype_manual(values = lin, name = NULL) +
  guides(colour = guide_legend(nrow = 2), linetype = guide_legend(nrow = 2)) +
  scale_y_continuous(breaks = NULL) +
  labs(x = "Wynik (w jednostkach SD)", y = NULL, title = "A. Nakładanie się rozkładów") + motyw
p4b <- ggplot(d4b, aes(fpr, czulosc, colour = panel, linetype = panel)) +
  geom_abline(slope = 1, intercept = 0, colour = "grey60", linetype = "dashed") +
  geom_step(data = d4b_emp, linewidth = 0.4, alpha = 0.7, linetype = "solid", show.legend = FALSE) +
  geom_line(linewidth = 1.2) +
  scale_colour_manual(values = kol_d, name = NULL) + scale_linetype_manual(values = lin_d, name = NULL) +
  guides(colour = guide_legend(ncol = 1), linetype = guide_legend(ncol = 1)) +
  coord_equal() + scale_x_continuous(breaks = seq(0, 1, 0.25)) + scale_y_continuous(breaks = seq(0, 1, 0.25)) +
  labs(x = "1 − swoistość", y = "Czułość", title = "B. Krzywe ROC",
       subtitle = "Grube linie – wzór; cienkie schodki – próby n = 100 + 100") + motyw
p4 <- p4a + p4b + plot_layout(widths = c(1, 1.25))
# p4   # zapis: ggsave("krzywa-roc-nakladanie-d.svg", p4, width = 10, height = 6.4)
Wynik w R
    d AUC_wzor
1 0.5    0.638
2 1.0    0.760
3 2.0    0.921
d = 0.5 d = 1.0 d = 2.0 
  0.694   0.717   0.937 

5. Indeks Youdena i próg o najmniejszym koszcie: Rysunek 5

Dane wejściowe: dane, d2 i motyw z przepisów 1–2.

Co odczytać: próg maksymalnego indeksu Youdena z czułością i swoistością oraz progi o najmniejszym oczekiwanym koszcie przy wagach 1, 9 i 20.

R
# Rysunek 5. Indeks Youdena na krzywej ROC i próg minimalizujący koszt błędów przy różnych wagach
# (kontynuacja: dane, d2, kol, motyw z bloków 1–2; patchwork z bloku 4)
ch <- dane$wynik[dane$chory == 1]; zd <- dane$wynik[dane$chory == 0]
progi_all <- sort(unique(dane$wynik))            # wynik dodatni, gdy wynik >= próg
wsz <- data.frame(prog = progi_all,              # wszystkie progi z danych
                  czulosc = sapply(progi_all, function(p) mean(ch >= p)),
                  swoistosc = sapply(progi_all, function(p) mean(zd < p)))
wsz$J <- wsz$czulosc + wsz$swoistosc - 1
youden <- wsz[which.max(wsz$J), ]
round(youden, 3)

# Oczekiwany koszt na 100 osób badanych przy częstości rozpoznania 10% (koszt fałszywego alarmu = 1)
czestosc <- 0.10
koszt <- function(r) 100 * (r * czestosc * (1 - wsz$czulosc) + (1 - czestosc) * (1 - wsz$swoistosc))
wagi <- c(1, 9, 20)                              # ile razy przeoczenie kosztuje więcej niż fałszywy alarm
# przy wadze (1 − częstość) / częstość = 9 minimum kosztu wypada w progu Youdena
najtaniej <- do.call(rbind, lapply(wagi, function(r) {
  k <- koszt(r); i <- which.min(k)
  data.frame(waga = r, prog = wsz$prog[i], czulosc = wsz$czulosc[i], swoistosc = wsz$swoistosc[i], koszt = k[i])
}))
round(najtaniej, 3)

etyk_w <- sprintf("przeoczenie = %d × fałszywy alarm", wagi)
d5b <- do.call(rbind, lapply(seq_along(wagi), function(k) data.frame(waga = etyk_w[k], prog = wsz$prog, koszt = koszt(wagi[k]))))
d5b$waga <- factor(d5b$waga, levels = etyk_w)
min5 <- data.frame(waga = factor(etyk_w, levels = etyk_w), prog = najtaniej$prog, koszt = najtaniej$koszt)
kol_w <- setNames(c("#0072B2", "#0f1d3a", "#D55E00"), etyk_w)
lin_w <- setNames(c("22", "solid", "42"), etyk_w)

p5a <- ggplot(d2, aes(fpr, czulosc)) +
  geom_abline(slope = 1, intercept = 0, linetype = "dashed", colour = "grey55") +
  geom_step(colour = "#0072B2", linewidth = 1) +
  annotate("segment", x = 1 - youden$swoistosc, xend = 1 - youden$swoistosc,
           y = 1 - youden$swoistosc, yend = youden$czulosc, colour = "#D55E00", linewidth = 1.1,
           arrow = arrow(length = unit(0.18, "cm"), ends = "both")) +
  annotate("point", x = 1 - youden$swoistosc, y = youden$czulosc, size = 3.4, shape = 21,
           fill = "#D55E00", colour = "grey10") +
  annotate("label", x = 1 - youden$swoistosc + 0.04, y = 0.42, hjust = 0, size = 3.7, linewidth = 0,
           label = sprintf("J = %.3f\nod %d pkt", youden$J, youden$prog)) +
  coord_equal() + scale_x_continuous(breaks = seq(0, 1, 0.25)) + scale_y_continuous(breaks = seq(0, 1, 0.25)) +
  labs(x = "1 − swoistość", y = "Czułość", title = "A. Youden: najdalej nad przekątną") + motyw
p5b <- ggplot(d5b, aes(prog, koszt, colour = waga, linetype = waga)) +
  geom_line(linewidth = 1) +
  geom_point(data = min5, size = 3.4, shape = 21, fill = "white", stroke = 1.2, show.legend = FALSE) +
  scale_colour_manual(values = kol_w, name = NULL) + scale_linetype_manual(values = lin_w, name = NULL) +
  guides(colour = guide_legend(ncol = 1), linetype = guide_legend(ncol = 1)) +
  coord_cartesian(xlim = c(25, 85)) +
  labs(x = "Próg (wynik dodatni od … pkt)", y = "Koszt na 100 badanych",
       title = "B. Najtańszy próg zależy od wag",
       subtitle = "Częstość rozpoznania 10%; kółko = minimum") + motyw
p5 <- p5a + p5b + plot_layout(widths = c(1, 1.15))
# p5   # zapis: ggsave("krzywa-roc-youden-koszty.svg", p5, width = 10, height = 6)
Wynik w R
   prog czulosc swoistosc     J
35   58    0.71     0.807 0.517
  waga prog czulosc swoistosc koszt
1    1   70    0.31     0.980   8.7
2    9   58    0.71     0.807  43.5
3   20   51    0.91     0.573  56.4

6. Przedział ufności dla AUC: DeLong i bootstrap: Rysunek 6

Dane wejściowe: dane, roc1 i motyw; oba bootstrapy zaczynają od set.seed(583).

Co odczytać: granice 95% CI metodą DeLonga i bootstrapem z pROC (środkowa wartość: AUC, a przy bootstrapie mediana prób), a niżej – średnią, błąd standardowy i granice percentylowe z bootstrapu ręcznego.

R
# Rysunek 6. Przedział ufności dla AUC: metoda DeLonga i bootstrap (2000 prób, losowanie osobno w grupach)
# (kontynuacja: dane, roc1, motyw z bloków 1–2)
ci_delong <- ci.auc(roc1, method = "delong")
set.seed(583)
ci_boot <- ci.auc(roc1, method = "bootstrap", boot.n = 2000, boot.stratified = TRUE)
round(rbind(DeLong = as.numeric(ci_delong), bootstrap_pROC = as.numeric(ci_boot)), 3)   # dolna, AUC, górna

# Ten sam bootstrap „ręcznie”: AUC jako odsetek wygranych par w każdej próbie bootstrapowej
auc_par <- function(c, z) { s <- sign(outer(c, z, "-")); mean(s > 0) + 0.5 * mean(s == 0) }
ch <- dane$wynik[dane$chory == 1]; zd <- dane$wynik[dane$chory == 0]
set.seed(583)
B <- 2000
auc_b <- replicate(B, auc_par(sample(ch, replace = TRUE), sample(zd, replace = TRUE)))
granice <- quantile(auc_b, c(.025, .975))
round(c(srednia_bootstrap = mean(auc_b), SE_bootstrap = sd(auc_b), granice), 3)

d6 <- data.frame(auc = auc_b)
linie6 <- data.frame(x = c(granice, as.numeric(ci_delong)[c(1, 3)]),
                     rodzaj = rep(c("bootstrap percentylowy", "DeLong"), each = 2))
p6 <- ggplot(d6, aes(auc)) +
  geom_histogram(binwidth = 0.005, boundary = 0, fill = "#9FD3F2", colour = "white", linewidth = 0.2) +
  geom_vline(data = linie6, aes(xintercept = x, linetype = rodzaj), colour = "#0f1d3a", linewidth = 0.9) +
  geom_vline(xintercept = as.numeric(auc(roc1)), colour = "#D55E00", linewidth = 1.2) +
  annotate("label", x = as.numeric(auc(roc1)), y = Inf, vjust = 1.2, hjust = -0.05, size = 3.8, linewidth = 0,
           label = sprintf("AUC z próby = %.3f", as.numeric(auc(roc1)))) +
  scale_linetype_manual(values = c("bootstrap percentylowy" = "solid", "DeLong" = "22"), name = "Granice 95% CI:") +
  scale_y_continuous(expand = expansion(mult = c(0, 0.12))) +
  labs(x = "AUC w próbie bootstrapowej", y = "Liczba prób",
       title = "Rozkład AUC w 2000 próbach bootstrapowych",
       subtitle = "Losowanie ze zwracaniem osobno wśród osób z rozpoznaniem i bez") + motyw
# p6   # zapis: ggsave("krzywa-roc-przedzial-auc.svg", p6, width = 10, height = 5.6)
Wynik w R
                [,1]  [,2]  [,3]
DeLong         0.787 0.836 0.885
bootstrap_pROC 0.786 0.839 0.882
srednia_bootstrap      SE_bootstrap              2.5%             97.5% 
            0.837             0.025             0.788             0.885 

7. Kontrola palety: symulacja zaburzeń widzenia barw

Dane wejściowe: kolory użyte na rysunkach i – dla porównania – para czerwony–zielony.

Co odczytać: najmniejszą odległość barw ΔE w przestrzeni CIELAB w każdym zestawie przy typowym widzeniu oraz po symulacji deuteranopii i protanopii; im mniejsza, tym trudniej odróżnić kolory.

R
# Czy kolory rysunków przetrwają zaburzenia widzenia barw? Symulacja w pakiecie colorspace
library(colorspace)
roznica <- function(k) {                        # najmniejsza odległość ΔE (CIELAB) między kolorami zestawu
  lab <- coords(as(hex2RGB(k), "LAB")); min(dist(lab))
}
zestawy <- list("2 grupy (rysunki 1, 2, 4A, 5A)" = c("#D55E00", "#0072B2"),
                "3 wartości d (rysunek 4B)" = c("#E69F00", "#009E73", "#0f1d3a"),
                "pary: wygrana, remis, przegrana (rysunek 3)" = c("#D55E00", "grey15", "#9FD3F2"),
                "3 wagi kosztów (rysunek 5B)" = c("#0072B2", "#0f1d3a", "#D55E00"),
                "czerwony – zielony (dla porównania)" = c("#E41A1C", "#4DAF4A"))
zestawy <- lapply(zestawy, function(k) rgb(t(col2rgb(k)), maxColorValue = 255))
round(t(sapply(zestawy, function(k) c(widzenie_typowe = roznica(k), deuteranopia = roznica(deutan(k)),
                                      protanopia = roznica(protan(k))))), 1)
Wynik w R
                                            widzenie_typowe deuteranopia protanopia
2 grupy (rysunki 1, 2, 4A, 5A)                        114.6        108.3       91.9
3 wartości d (rysunek 4B)                              76.8         54.9       51.5
pary: wygrana, remis, przegrana (rysunek 3)            70.6         69.4       62.8
3 wagi kosztów (rysunek 5B)                            41.3         40.8       41.3
czerwony – zielony (dla porównania)                   121.7         21.1       31.6

Bibliografia oprogramowania

Liczby na tej stronie pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (losowanie, gęstości jądrowe, test U Manna–Whitneya i bootstrap ręczny – pakiet stats). Krzywe ROC, AUC i przedziały ufności (DeLong, bootstrap) policzono pakietem pROC. Rysunki wykonano w ggplot2, panele złożono pakietem patchwork i zapisano pakietem svglite; paletę sprawdzono pakietem colorspace. W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. pROC (wersja 1.19.0.1): Robin, X., Turck, N., Hainard, A., Tiberti, N., Lisacek, F., Sanchez, J.-C., & Müller, M. (2011). pROC: An open-source package for R and S+ to analyze and compare ROC curves. BMC Bioinformatics, 12, Article 77. https://doi.org/10.1186/1471-2105-12-77
  3. ggplot2 (wersja 4.0.2): Wickham, H. (2016). ggplot2: Elegant graphics for data analysis. Springer. https://ggplot2.tidyverse.org
  4. patchwork (wersja 1.3.2): Pedersen, T. L. (2025). patchwork: The composer of plots [R package]. https://doi.org/10.32614/CRAN.package.patchwork
  5. colorspace (wersja 2.1.2): Zeileis, A., Fisher, J. C., Hornik, K., Ihaka, R., McWhite, C. D., Murrell, P., Stauffer, R., & Wilke, C. O. (2020). colorspace: A toolbox for manipulating and assessing colors and palettes. Journal of Statistical Software, 96(1), 1–49. https://doi.org/10.18637/jss.v096.i01
  6. svglite (wersja 2.2.2): Wickham, H., Henry, L., Pedersen, T. L., Luciani, T. J., Decorde, M., & Lise, V. (2025). svglite: An 'SVG' graphics device [R package]. https://doi.org/10.32614/CRAN.package.svglite

Najczęstsze błędy

  • Krzywa bez progów. Czytelnik nie wie, który punkt odpowiada jakiemu wynikowi skali (rysunek 2).
  • AUC jako „trafność diagnozy”. AUC = .84 znaczy, że skala wygrywa w 84% par – nie, że trafnie klasyfikuje 84% osób (rysunek 3).
  • Youden jako jedyny słuszny próg bez słowa o kosztach błędów i częstości zaburzenia (rysunek 5).
  • Próg i czułość z tej samej małej próby podane bez zastrzeżenia, że są optymistyczne.
  • AUC bez przedziału ufności albo bez informacji, jak go policzono (rysunek 6).
  • Wartości predykcyjne odczytane z próby, w której częstość zaburzenia ustalił dobór grup, a nie populacja.

Najczęstsze pytania

Dlaczego krzywa ROC z moich danych ma kształt schodków?

Bo każdy punkt krzywej odpowiada jednemu progowi, a próg zmienia decyzję tylko dla konkretnych osób. Krok w górę to jedna lub kilka osób z rozpoznaniem, które stają się „dodatnie”, krok w prawo – osoby bez rozpoznania. W przykładzie na tej stronie 250 osób dało krzywą z 62 punktów. Gładką krzywą otrzymasz tylko z modelu (np. dwunormalnego) albo przy bardzo dużej próbie.

Jaki jest związek AUC z testem U Manna–Whitneya?

AUC to odsetek par „osoba z rozpoznaniem – osoba bez rozpoznania”, w których pierwsza ma wyższy wynik (remisy liczą się po połowie). Statystyka W z funkcji wilcox.test() w R to właśnie liczba takich par, więc W podzielone przez iloczyn liczebności grup daje AUC. W przykładzie: 12 546.5 / 15 000 = .836. Test U sprawdza, czy AUC różni się od .50.

Jakie AUC odpowiada d Cohena równemu 0.5, 1 albo 2?

Jeśli wyniki w obu grupach mają rozkład normalny o tym samym SD, AUC = Φ(d/√2): dla d = 0.5 to .638, dla d = 1 – .760, a dla d = 2 – .921. Przy różnych SD albo rozkładach skośnych ten przelicznik przestaje być dokładny, a w próbie po 100 osób w grupie AUC może odbiegać od wartości ze wzoru o kilka setnych.

Czy indeks Youdena zawsze wskazuje najlepszy próg?

Nie. Youden traktuje sumę czułości i swoistości jako jedyne kryterium, co odpowiada konkretnej relacji kosztów: przeoczenie jest tyle razy droższe od fałszywego alarmu, ile razy więcej jest w populacji osób zdrowych niż chorych. Przy częstości 10% to waga 9. Jeśli przeoczenie kosztuje więcej, optymalny próg leży niżej; jeśli mniej – wyżej. Próg wybrany na tych samych danych daje też zbyt optymistyczną czułość i swoistość.

Jak narysować krzywą ROC w ggplot2?

Policz współrzędne funkcją roc() i coords() z pakietu pROC (albo samodzielnie: czułość i swoistość dla każdego progu), a potem narysuj je jako geom_step() z osią x = 1 − swoistość i y = czułość, dodając przekątną geom_abline() i coord_equal(). Wybrane progi zaznacz punktami z etykietą – pełny kod jest w sekcji z kodem na tej stronie.

Powiązane hasła

Przeczytaj też

Wyznaczasz punkt odcięcia skali?

Pomożemy policzyć krzywą ROC, AUC z przedziałem ufności, czułość i swoistość, uzasadnić wybór progu i opisać wynik w pracy – tak, żebyś umiał(a) go wyjaśnić i obronić.

Oferta dla studentówWyceń analizę

Bibliografia i dalsza literatura naukowa (APA 7)

  1. DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D. L. (1988). Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach. Biometrics, 44(3), 837–845. https://doi.org/10.2307/2531595
  2. Fluss, R., Faraggi, D., & Reiser, B. (2005). Estimation of the Youden index and its associated cutoff point. Biometrical Journal, 47(4), 458–472. https://doi.org/10.1002/bimj.200410135
  3. Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29–36. https://doi.org/10.1148/radiology.143.1.7063747
  4. Leeflang, M. M. G., Moons, K. G. M., Reitsma, J. B., & Zwinderman, A. H. (2008). Bias in sensitivity and specificity caused by data-driven selection of optimal cutoff values: Mechanisms, magnitude, and solutions. Clinical Chemistry, 54(4), 729–737. https://doi.org/10.1373/clinchem.2007.096032
  5. Perkins, N. J., & Schisterman, E. F. (2006). The inconsistency of “optimal” cutpoints obtained using two criteria based on the receiver operating characteristic curve. American Journal of Epidemiology, 163(7), 670–675. https://doi.org/10.1093/aje/kwj063 ● Otwarty dostęp
  6. Robin, X., Turck, N., Hainard, A., Tiberti, N., Lisacek, F., Sanchez, J.-C., & Müller, M. (2011). pROC: An open-source package for R and S+ to analyze and compare ROC curves. BMC Bioinformatics, 12(1), Article 77. https://doi.org/10.1186/1471-2105-12-77 ● Otwarty dostęp

Cytowania BibTeX

@article{delong1988comparing, author={DeLong, Elizabeth R. and DeLong, David M. and Clarke-Pearson, Daniel L.}, title={{Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach}}, journal={Biometrics}, year={1988}, volume={44}, number={3}, pages={837--845}, doi={10.2307/2531595}}
@article{fluss2005estimation, author={Fluss, Ronen and Faraggi, David and Reiser, Benjamin}, title={{Estimation of the Youden index and its associated cutoff point}}, journal={Biometrical Journal}, year={2005}, volume={47}, number={4}, pages={458--472}, doi={10.1002/bimj.200410135}}
@article{hanley1982meaning, author={Hanley, James A. and McNeil, Barbara J.}, title={{The meaning and use of the area under a receiver operating characteristic (ROC) curve}}, journal={Radiology}, year={1982}, volume={143}, number={1}, pages={29--36}, doi={10.1148/radiology.143.1.7063747}}
@article{leeflang2008bias, author={Leeflang, Mariska M. G. and Moons, Karel G. M. and Reitsma, Johannes B. and Zwinderman, Aeilko H.}, title={{Bias in sensitivity and specificity caused by data-driven selection of optimal cutoff values: Mechanisms, magnitude, and solutions}}, journal={Clinical Chemistry}, year={2008}, volume={54}, number={4}, pages={729--737}, doi={10.1373/clinchem.2007.096032}}
@article{perkins2006inconsistency, author={Perkins, Neil J. and Schisterman, Enrique F.}, title={{The inconsistency of “optimal” cutpoints obtained using two criteria based on the receiver operating characteristic curve}}, journal={American Journal of Epidemiology}, year={2006}, volume={163}, number={7}, pages={670--675}, doi={10.1093/aje/kwj063}}
@article{robin2011proc, author={Robin, Xavier and Turck, Natacha and Hainard, Alexandre and Tiberti, Natalia and Lisacek, Frédérique and Sanchez, Jean-Charles and Müller, Markus}, title={{pROC: An open-source package for R and S+ to analyze and compare ROC curves}}, journal={BMC Bioinformatics}, year={2011}, volume={12}, number={1}, eid={77}, doi={10.1186/1471-2105-12-77}}
R