Presná definícia
Čo znamená kalibračná krivka?
Kalibračná krivka porovnáva predikovanú pravdepodobnosť s pozorovanou frekvenciou udalosti v skupinách podobných predikcií. Ideálna kalibrácia leží pri diagonále y=x. Tvar závisí od binningu, veľkosti vzorky a prevalencie; krivka nehodnotí schopnosť modelu zoradiť pozitívne prípady a sama neposkytuje úplné skóre kvality.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Predikcie rizika sa rozdelia do rovnako širokých alebo rovnako početných košov. Pre každý sa zobrazí priemerná predikcia a skutočný podiel udalostí spolu s počtom príkladov či intervalom neistoty. Prázdne a malé koše sa neinterpretujú agresívne. Krivka sa kreslí na dátach nepoužitých na tréning kalibrátora a osobitne pre dôležité skupiny alebo obdobia. Dopĺňa sa Brierovým skóre a diskriminačnou metrikou, pretože dokonale kalibrovaný konštantný model nemusí rozlišovať jednotlivcov.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo znamená bod pod diagonálou?
Pozorovaná frekvencia je nižšia než predikcia, takže model v danom koši nadhodnocuje riziko.
Koľko binov použiť?
Toľko, aby zachytili tvar, ale každý mal dostatok príkladov; univerzálne číslo neexistuje.
Meria krivka poradie prípadov?
Nie. Model môže byť kalibrovaný a pritom slabo diskriminovať.
Možno ju kresliť na tréningu?
Dá sa, ale bude optimistická; pre hodnotenie treba oddelené predikcie.
Prečo kresliť viac kriviek?
Celková kalibrácia môže zakryť opačné chyby medzi skupinami alebo obdobiami.