Słownik metodologiczny · Modele regresji

Wynik Briera – jak ocenić trafność przewidywanych prawdopodobieństw?

Wynik Briera to średni kwadrat błędu przewidywanych prawdopodobieństw. Pokazujemy wzór, wersję skalowaną, przykład w R z dwoma modelami o tym samym AUC, opis do pracy i najczęstsze pułapki.

Strona główna / Słownik / Wynik Briera

Opracowanie merytoryczne: · Opublikowano:

W skrócie: Wynik Briera to średni kwadrat różnicy między przewidywanym prawdopodobieństwem a wynikiem 0/1. Im niższy, tym lepiej; łączy dyskryminację i kalibrację modelu. Zależy od częstości zdarzenia, dlatego porównuj go z modelem bez predyktorów albo podawaj wersję skalowaną.

Co to jest wynik Briera?

Wynik Briera (ang. Brier score) to średni kwadrat różnicy między przewidywanym prawdopodobieństwem zdarzenia a faktycznym wynikiem zakodowanym jako 0 lub 1: BS = (1/N) Σ (pi − yi)². Brier (1950) zaproponował go do weryfikacji prognoz pogody wyrażanych jako prawdopodobieństwo; dziś służy do oceny modeli predykcyjnych, np. z regresji logistycznej. Im niższy wynik, tym lepiej: 0 oznacza model bezbłędny.

Jak go czytać

Wynik Briera łączy dwie cechy modelu: dyskryminację, którą mierzy pole pod krzywą ROC, i kalibrację (Steyerberg i in., 2010). Zależy jednak od częstości zdarzenia: model bez predyktorów, który każdemu przypisuje ten sam odsetek p̄, ma BS0 = p̄(1 − p̄). Dlatego podaje się też skalowany wynik Briera, 1 − BS / BS0: 0 oznacza model nie lepszy od samego odsetka, a 1 model idealny.

Przykład

W symulacji 1000 osób nawrót wystąpił u 33.2%, więc BS0 = .222. Dobrze skalibrowany model miał BS = .175 (skalowany .213), a model o tym samym rankingu, ale ze zbyt skrajnymi przewidywaniami – BS = .189 (skalowany .148). AUC obu modeli wynosiło .778, więc różnicę pokazał dopiero wynik Briera. Rozbudowane porównanie kilku modeli zawiera poradnik Modele predykcyjne: walidacja i kalibracja.

Jak opisać w pracy

Trafność przewidywanych prawdopodobieństw oceniono wynikiem Briera. Wyniósł on .175 wobec .222 dla modelu bez predyktorów (skalowany wynik Briera .213), a pole pod krzywą ROC – AUC = .778.

Na co uważać

  • Brak punktu odniesienia. BS = .175 nic nie mówi bez BS0; przy rzadkim zdarzeniu nawet bezużyteczny model ma niski wynik.
  • Trafność pozorna. W próbie uczącej wynik jest zbyt optymistyczny. Licz go w nowej próbie albo z walidacją krzyżową.
  • To nie jest miara użyteczności klinicznej. Assel i in. (2017) pokazali, że wynik Briera może źle porządkować testy i modele; do decyzji lepiej nadaje się korzyść netto.
Przykład reprodukowalny

Wynik Briera w R

Kod symuluje 1000 osób, liczy wynik Briera i skalowany wynik Briera dla modelu dobrze skalibrowanego i dla modelu o tym samym rankingu, ale zbyt skrajnych przewidywaniach, oraz AUC obu modeli.

Wynik Briera i AUC dla dwóch modeli o tym samym rankingu

Dane wejściowe: dane symulowane z set.seed(4510): 1000 osób, predyktor x, wynik 0/1 y.

Co odczytać: odsetek zdarzeń i wynik modelu bez predyktorów (Brier_0), a potem wynik Briera, skalowany wynik Briera i AUC obu modeli.

R
suppressPackageStartupMessages(library(pROC))
set.seed(4510)
n <- 1000
x <- rnorm(n)                                   # skala ryzyka nawrotu
y <- rbinom(n, 1, plogis(-1 + 1.2 * x))         # 0/1: nawrót
p_ok <- plogis(-1 + 1.2 * x)                    # model dobrze skalibrowany
p_skr <- plogis(2 * (-1 + 1.2 * x))             # ten sam ranking, przewidywania zbyt skrajne
brier <- function(p) mean((p - y)^2)
b0 <- brier(rep(mean(y), n))                    # model bez predyktorów
wyn <- sapply(list(dobry = p_ok, skrajny = p_skr), function(p)
  c(Brier = brier(p), skalowany = 1 - brier(p) / b0,
    AUC = as.numeric(auc(roc(y, p, quiet = TRUE)))))
round(c(odsetek = mean(y), Brier_0 = b0), 3)
round(wyn, 3)
Wynik w R
odsetek Brier_0 
  0.332   0.222 
          dobry skrajny
Brier     0.175   0.189
skalowany 0.213   0.148
AUC       0.778   0.778

Bibliografia oprogramowania

Wyniki pochodzą z uruchomienia pokazanego kodu w R 4.5.3 (pakiet pROC). W pracy podaj wersje faktycznie użytych pakietów (sessionInfo()).

  1. R: R Core Team. (2026). R: A language and environment for statistical computing (Version 4.5.3) [Computer software]. R Foundation for Statistical Computing. https://www.R-project.org/
  2. pROC (wersja 1.19.0.1): Robin, X., Turck, N., Hainard, A., Tiberti, N., Lisacek, F., Sanchez, J.-C., & Müller, M. (2011). pROC: An open-source package for R and S+ to analyze and compare ROC curves. BMC Bioinformatics, 12, 77. https://doi.org/10.1186/1471-2105-12-77

Najczęstsze pytania

Jaki wynik Briera jest dobry?

Nie ma jednej granicy, bo wynik zależy od częstości zdarzenia. Porównaj go z modelem bez predyktorów, BS₀ = p̄(1 − p̄), albo podaj skalowany wynik Briera – im bliżej 1, tym lepiej.

Czym wynik Briera różni się od AUC?

AUC ocenia tylko ranking osób, czyli dyskryminację. Wynik Briera ocenia też, czy same prawdopodobieństwa są trafne, więc pogarsza się przy złej kalibracji nawet przy niezmienionym AUC.

Jak policzyć wynik Briera w R?

Wystarczy mean((p - y)^2), gdzie p to przewidywane prawdopodobieństwa, a y wynik 0/1. Skalowany wynik to 1 - BS / BS0, gdzie BS0 liczysz dla stałej mean(y).

Powiązane hasła

Kalibracja modeluKrzywa ROCRegresja logistycznaWalidacja krzyżowaKrzywa decyzyjna (net benefit)Indeks C Harrella

Poradniki, w których użyjesz tego pojęcia

Poradnik

Modele predykcyjne: walidacja i kalibracja

Liczebność, przeuczenie, walidacja krzyżowa i bootstrap, LASSO i ridge, kalibracja, wynik Briera i TRIPOD+AI – na danych do pobrania, z kodem R.

Czytaj →Poradnik

Krzywa decyzyjna (net benefit) i NRI

Korzyść netto w zakresie progów, strategie „wszyscy” i „nikt”, NRI kategorialny i ciągły z krytyką oraz dwa modele o tym samym AUC.

Czytaj →

Potrzebujesz wsparcia w analizie danych?

Wybierz ofertę dopasowaną do pracy dyplomowej albo profesjonalnego projektu naukowego.

Wyceń analizęOferta dla studentów

Bibliografia i dalsza literatura naukowa (APA 7)

  1. Assel, M., Sjoberg, D. D., & Vickers, A. J. (2017). The Brier score does not evaluate the clinical utility of diagnostic tests or prediction models. Diagnostic and Prognostic Research, 1(1), Article 19. https://doi.org/10.1186/s41512-017-0020-3 ● Otwarty dostęp
  2. Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1), 1–3. https://doi.org/10.1175/1520-0493(1950)078<0001:vofeit>2.0.co;2
  3. Steyerberg, E. W., Vickers, A. J., Cook, N. R., Gerds, T., Gonen, M., Obuchowski, N., Pencina, M. J., & Kattan, M. W. (2010). Assessing the performance of prediction models: A framework for traditional and novel measures. Epidemiology, 21(1), 128–138. https://doi.org/10.1097/ede.0b013e3181c30fb2 ● Otwarty dostęp: pełny tekst

Cytowania BibTeX

@article{assel2017brier, author={Assel, Melissa and Sjoberg, Daniel D. and Vickers, Andrew J.}, title={{The Brier score does not evaluate the clinical utility of diagnostic tests or prediction models}}, journal={Diagnostic and Prognostic Research}, year={2017}, volume={1}, number={1}, eid={19}, doi={10.1186/s41512-017-0020-3}}
@article{brier1950verification, author={Brier, Glenn W.}, title={{Verification of forecasts expressed in terms of probability}}, journal={Monthly Weather Review}, year={1950}, volume={78}, number={1}, pages={1--3}, doi={10.1175/1520-0493(1950)078<0001:vofeit>2.0.co;2}}
@article{steyerberg2010assessing, author={Steyerberg, Ewout W. and Vickers, Andrew J. and Cook, Nancy R. and Gerds, Thomas and Gonen, Mithat and Obuchowski, Nancy and Pencina, Michael J. and Kattan, Michael W.}, title={{Assessing the performance of prediction models: A framework for traditional and novel measures}}, journal={Epidemiology}, year={2010}, volume={21}, number={1}, pages={128--138}, doi={10.1097/ede.0b013e3181c30fb2}}
R