Slovník výrazov AI/Hodnotenie a metriky

Hodnotenie a metriky

Brierovo skóre

Anglický výraz Brier score

pokročiléheslo č. 10295 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená Brierovo skóre?

Brierovo skóre je stredná kvadratická chyba medzi predikovanou pravdepodobnosťou a binárnym výsledkom; nižšia hodnota je lepšia. Je to proper scoring rule, ktorý súčasne reaguje na kalibráciu aj rozlišovaciu schopnosť.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Predikcia zlyhania stroja dostáva Brier score na časovo oddelených dátach. Tím ho porovná s jednoduchou predikciou prevalencie a rozloží výsledok podľa prevádzok a kalibračných pásiem.

Overiteľnosť

Odborné zdroje

  1. scikit-learn - Probability calibrationscikit-learn.org
  2. scikit-learn - Metrics and scoring: quantifying prediction qualityscikit-learn.org

Praktické odpovede

Často kladené otázky

Čo presne znamená Brierovo skóre?

Brierovo skóre je stredná kvadratická chyba medzi predikovanou pravdepodobnosťou a binárnym výsledkom; nižšia hodnota je lepšia.

Kedy sa Brierovo skóre používa?

Predikcia zlyhania stroja dostáva Brier score na časovo oddelených dátach.

Od čoho treba Brierovo skóre odlíšiť?

Log loss trestá extrémne chyby logaritmicky; Brierovo skóre používa kvadratickú vzdialenosť pravdepodobnosti od výsledku.

Ako sa Brierovo skóre kontroluje?

Overí sa kódovanie pozitívnej triedy, rozsah pravdepodobností, váhy, baseline a neistota cez opakované vzorkovanie.

Aké obmedzenie má Brierovo skóre?

Dobré priemerné skóre môže zakryť zlé pravdepodobnosti v malej skupine alebo pri rozhodovacom prahu.