Kalibracja modelu – czy przewidywane ryzyko zgadza się z rzeczywistym?

Opracowanie merytoryczne: Konrad Hryniewicz · Opublikowano: 26 października 2026

Co to jest kalibracja modelu?

Kalibracja modelu (ang. model calibration) to zgodność przewidywanych prawdopodobieństw z tym, jak często zdarzenie rzeczywiście występuje. Jeśli model przypisuje grupie osób ryzyko 20%, to dobrze skalibrowany model trafia, gdy zdarzenie wystąpi u około 20% z nich. Kalibracja uzupełnia dyskryminację, czyli zdolność odróżniania osób ze zdarzeniem od osób bez niego, mierzoną np. polem pod krzywą ROC. Steyerberg i in. (2010) zalecają raportować obie te cechy przy każdym modelu predykcyjnym, np. z regresji logistycznej.

Jak ją ocenić

• Wyraz wolny kalibracji (calibration-in-the-large): czy średnie przewidywane ryzyko zgadza się z odsetkiem zdarzeń. Idealnie wynosi 0.
• Nachylenie kalibracji: współczynnik z regresji wyniku na logit przewidywań. Idealnie wynosi 1. Wartość poniżej 1 oznacza zbyt skrajne przewidywania i jest typowym śladem przeuczenia.
• Krzywa kalibracji: przewidywane ryzyko a odsetek obserwowany w grupach lub w wygładzonej krzywej.

Oceniaj to w nowej próbie albo z korektą na optymizm, np. przez walidację krzyżową. W próbie uczącej regresja logistyczna jest zawsze skalibrowana z definicji: nachylenie wynosi tam dokładnie 1.

Przykład

Model nawrotu depresji z 10 predyktorami zbudowano na 120 osobach i sprawdzono na 2000 nowych (dane symulowane). Nachylenie kalibracji wyniosło 0.43, a wyraz wolny 0.33: model przewidywał średnio 25.1% nawrotów, a obserwowano 30.1%. W grupie o najniższym przewidywanym ryzyku (4%) nawrót wystąpił u 17% osób, a w grupie o najwyższym (59%) u 51%.

Jak opisać w pracy

Na co uważać

• Wysokie AUC nie gwarantuje dobrej kalibracji. Model może dobrze porządkować osoby i jednocześnie zawyżać lub zaniżać ryzyko.
• Nie poprzestawaj na teście Hosmera–Lemeshowa. Steyerberg i in. (2010) zwracają uwagę na jego małą moc i słabą interpretowalność; podaj nachylenie, wyraz wolny i krzywą.
• Raportuj kalibrację zawsze, nie tylko AUC. Wytyczne TRIPOD+AI (Collins i in., 2024) wymagają opisu walidacji wewnętrznej oraz miar dyskryminacji i kalibracji, najlepiej z wykresem wygładzonej krzywej kalibracji.

Pełny proces budowy i sprawdzania modelu opisujemy we wpisie modele predykcyjne.

model <- glm(y ~ ., data = ucz, family = binomial)
lp    <- predict(model, newdata = nowa)               # logit przewidywanego ryzyka
p_hat <- plogis(lp)
slope <- coef(glm(nowa$y ~ lp, family = binomial))[2]                 # nachylenie kalibracji
citl  <- coef(glm(nowa$y ~ offset(lp), family = binomial))[1]         # wyraz wolny (calibration-in-the-large)
round(c(slope = unname(slope), citl = unname(citl), p_obs = mean(nowa$y), p_przewid = mean(p_hat)), 3)
grupa <- cut(p_hat, quantile(p_hat, 0:5 / 5), include.lowest = TRUE, labels = 1:5)
round(rbind(przewidywane = tapply(p_hat, grupa, mean), obserwowane = tapply(nowa$y, grupa, mean)), 2)

    slope      citl     p_obs p_przewid
    0.430     0.326     0.301     0.251
                1    2    3    4    5
przewidywane 0.04 0.11 0.19 0.33 0.59
obserwowane  0.17 0.21 0.26 0.34 0.51

Najczęstsze pytania

Czym kalibracja różni się od dyskryminacji?

Dyskryminacja (np. AUC) mówi, czy osoby ze zdarzeniem dostają wyższe ryzyko niż osoby bez niego. Kalibracja mówi, czy same wartości ryzyka są trafne. Model może mieć dobre AUC i złą kalibrację.

Co oznacza nachylenie kalibracji równe 0.6?

Przewidywania są zbyt skrajne: wysokie ryzyko jest zawyżone, a niskie zaniżone. To częsty skutek przeuczenia przy małej próbie i wielu predyktorach.

Czy można poprawić kalibrację gotowego modelu?

Tak, przez rekalibrację w nowych danych: korektę wyrazu wolnego albo wyrazu wolnego i nachylenia. Przy większych rozbieżnościach model aktualizuje się lub buduje od nowa.

Powiązane hasła

Poradniki, w których użyjesz tego pojęcia

@article{collins2024tripod, author={Collins, Gary S. and Moons, Karel G. M. and Dhiman, Paula and Riley, Richard D. and Beam, Andrew L. and Van Calster, Ben and Ghassemi, Marzyeh and Liu, Xiaoxuan and Reitsma, Johannes B. and van Smeden, Maarten and Boulesteix, Anne-Laure and Camaradou, Jennifer Catherine and Celi, Leo Anthony and Denaxas, Spiros and Denniston, Alastair K. and Glocker, Ben and Golub, Robert M. and Harvey, Hugh and Heinze, Georg and Hoffman, Michael M. and Kengne, André Pascal and Lam, Emily and Lee, Naomi and Loder, Elizabeth W. and Maier-Hein, Lena and Mateen, Bilal A. and McCradden, Melissa D. and Oakden-Rayner, Lauren and Ordish, Johan and Parnell, Richard and Rose, Sherri and Singh, Karandeep and Wynants, Laure and Logullo, Patricia}, title={{TRIPOD+AI statement: Updated guidance for reporting clinical prediction models that use regression or machine learning methods}}, journal={BMJ}, year={2024}, volume={385}, eid={e078378}, doi={10.1136/bmj-2023-078378}}

@article{steyerberg2010assessing, author={Steyerberg, Ewout W. and Vickers, Andrew J. and Cook, Nancy R. and Gerds, Thomas and Gonen, Mithat and Obuchowski, Nancy and Pencina, Michael J. and Kattan, Michael W.}, title={{Assessing the performance of prediction models: A framework for traditional and novel measures}}, journal={Epidemiology}, year={2010}, volume={21}, number={1}, pages={128--138}, doi={10.1097/ede.0b013e3181c30fb2}}