Presná definícia
Čo znamená chyba kalibrácie?
Chyba kalibrácie vyjadruje rozdiel medzi predikovanou istotou a pozorovanou frekvenciou výsledku. Často sa odhaduje po intervaloch pravdepodobnosti, preto závisí od spôsobu binningu, veľkosti vzorky a zvolenej agregácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Ak prípady so skóre okolo 0,8 nastanú iba v 60 %, tím zistí nadmernú sebadôveru. Prepočíta reliability diagram, ECE aj intervaly osobitne pre hlavné segmenty a kalibruje len na validačných dátach.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená chyba kalibrácie?
Chyba kalibrácie vyjadruje rozdiel medzi predikovanou istotou a pozorovanou frekvenciou výsledku.
Kedy sa chyba kalibrácie používa?
Ak prípady so skóre okolo 0,8 nastanú iba v 60 %, tím zistí nadmernú sebadôveru.
Od čoho treba chyba kalibrácie odlíšiť?
Diskriminácia určuje poradie prípadov; kalibrácia posudzuje, či číselná pravdepodobnosť zodpovedá reálnej frekvencii.
Ako sa chyba kalibrácie kontroluje?
Kontrolujú sa hranice a počet binov, minimálny počet príkladov, váženie, segmenty, intervaly a nezávislá kalibračná vzorka.
Aké obmedzenie má chyba kalibrácie?
Jedna hodnota ECE môže skryť opačné chyby v rôznych binoch a dá sa výrazne zmeniť voľbou ich hraníc.