Presná definícia
Čo znamená kalibrácia pravdepodobnosti?
Kalibrácia pravdepodobnosti upravuje modelové skóre tak, aby medzi prípadmi s predikciou p nastala udalosť približne v podiele p. Kalibrátor sa učí na predikciách pre dáta, ktoré základný model netrénoval, inak prevezme jeho optimizmus. Kalibrácia mení význam skóre; môže zachovať poradie, ale negarantuje lepšiu klasifikačnú accuracy pri každom prahu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Ak úverový model priraďuje riziká používané pri oceňovaní, nestačí správne poradie klientov. Predikcie základného modelu sa získajú cez cross-validation alebo oddelený kalibračný súbor a na nich sa naučí sigmoidná či izotonická transformácia. Výsledok sa hodnotí reliability diagramom, Brierovým skóre a log-loss na nedotknutom teste. Kalibrácia sa opakuje pri zmene prevalencie alebo populácie. Malý kalibračný súbor uprednostňuje jednoduchšiu parametrickú metódu; pružná izotonická regresia môže prefitovať.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo znamená dobre kalibrovaných 0,7?
Medzi podobnými prípadmi s touto predikciou nastane udalosť približne v 70 %.
Zlepší kalibrácia AUC?
Pri monotónnej transformácii zvyčajne nie, pretože poradie ostáva rovnaké.
Prečo nepoužiť tréningové skóre?
Býva príliš optimistické a kalibrátor by sa naučil skreslený vzťah.
Aké metódy sú bežné?
Plattovo sigmoidné škálovanie a izotonická regresia.
Kedy kalibráciu obnoviť?
Pri zmene populácie, prevalencie, modelu alebo procesu merania cieľa.