Presná definícia
Čo znamená relatívna entropia?
Relatívna entropia je informačná strata pri použití rozdelenia Q namiesto skutočného rozdelenia P a matematicky zodpovedá Kullbackovej-Leiblerovej divergencii DKL(P||Q). Je smerová a nemá vlastnosti metriky vzdialenosti.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím porovná rozdelenie produkčných príznakov s referenciou, uvedie smer P a Q a ošetrí nulovú podporu. Výsledok interpretuje spolu s veľkosťou vzorky a segmentmi.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená relatívna entropia?
Relatívna entropia je informačná strata pri použití rozdelenia Q namiesto skutočného rozdelenia P a matematicky zodpovedá Kullbackovej-Leiblerovej divergencii DKL(P||Q).
Kedy sa relatívna entropia používa?
Tím porovná rozdelenie produkčných príznakov s referenciou, uvedie smer P a Q a ošetrí nulovú podporu.
Od čoho treba relatívna entropia odlíšiť?
Shannonova entropia meria neistotu jedného rozdelenia; relative entropy porovnáva dve rozdelenia podľa zvoleného smeru.
Ako sa relatívna entropia kontroluje?
Kontroluje sa spoločná podpora, poradie argumentov, logaritmická báza, vyhladenie núl, odhad hustoty a bootstrap neistota.
Aké obmedzenie má relatívna entropia?
Ak Q priradí nulu udalosti možnej v P, hodnota je nekonečná; empirický odhad v chvostoch býva nestabilný.