Presná definícia
Čo znamená krížová entropia?
Krížová entropia meria očakávané prekvapenie, keď sa udalosti riadia cieľovým rozdelením, ale kódujú sa predikovaným rozdelením. V klasifikácii tvorí bežnú tréningovú stratu a pri one-hot cieľoch sa zhoduje s log loss.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri viacnásobnej klasifikácii model minimalizuje krížovú entropiu nad pravdepodobnosťami všetkých tried. Tím sleduje aj kalibráciu a triedne chyby, pretože nízka priemerná strata negarantuje rovnaký výkon skupín.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená krížová entropia?
Krížová entropia meria očakávané prekvapenie, keď sa udalosti riadia cieľovým rozdelením, ale kódujú sa predikovaným rozdelením.
Kedy sa krížová entropia používa?
Pri viacnásobnej klasifikácii model minimalizuje krížovú entropiu nad pravdepodobnosťami všetkých tried.
Od čoho treba krížová entropia odlíšiť?
Entropia opisuje neistotu jedného rozdelenia; krížová entropia porovnáva cieľové rozdelenie s predikovaným.
Ako sa krížová entropia kontroluje?
Skontroluje sa základ logaritmu, redukcia cez dávku, maskovanie, váhy tried, normalizácia cieľov a stabilita softmaxu.
Aké obmedzenie má krížová entropia?
Zle nastavené váhy alebo label smoothing menia význam hodnoty, takže čísla z rôznych behov nemusia byť porovnateľné.