Presná definícia
Čo znamená entropia?
Entropia v informačnej teórii je očakávaná záporná logaritmická pravdepodobnosť výsledku a meria priemernú neistotu diskrétneho rozdelenia. Závisí od bázy logaritmu a je najvyššia pri rovnomernom rozdelení s pevnou podporou.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Klasifikátor s rozdelením 0,5/0,5 má vyššiu entropiu než model s 0,99/0,01. Tím ju používa na výber neistých príkladov, ale najprv preverí kalibráciu pravdepodobností.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená entropia?
Entropia v informačnej teórii je očakávaná záporná logaritmická pravdepodobnosť výsledku a meria priemernú neistotu diskrétneho rozdelenia.
Kedy sa entropia používa?
Klasifikátor s rozdelením 0,5/0,5 má vyššiu entropiu než model s 0,99/0,01.
Od čoho treba entropia odlíšiť?
Krížová entropia používa predikované rozdelenie na kódovanie cieľového; entropy opisuje neistotu jedného rozdelenia.
Ako sa entropia kontroluje?
Overí sa normalizácia pravdepodobností, báza logaritmu, nulové členy, jednotka bit/nat, kalibrácia a citlivosť na počet tried.
Aké obmedzenie má entropia?
Nízka entropia môže znamenať sebavedomie, nie správnosť, a hodnoty nemožno priamo porovnávať pri rozdielnom počte tried.