Presná definícia
Čo znamená Kullbackova-Leiblerova divergencia?
Kullbackova-Leiblerova divergencia DKL(P||Q) je očakávaný logaritmus pomeru pravdepodobností P a Q pod rozdelením P. Udáva dodatočnú informačnú cenu aproximácie Q, je nezáporná a asymetrická.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri variacionálnej inferencii tím minimalizuje konkrétny smer KL medzi aproximáciou a posteriorom a uvedie jeho dôsledok pre pokrytie módov. Pri monitoringu kontroluje nulové biny.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená Kullbackova-Leiblerova divergencia?
Kullbackova-Leiblerova divergencia DKL(P||Q) je očakávaný logaritmus pomeru pravdepodobností P a Q pod rozdelením P.
Kedy sa Kullbackova-Leiblerova divergencia používa?
Pri variacionálnej inferencii tím minimalizuje konkrétny smer KL medzi aproximáciou a posteriorom a uvedie jeho dôsledok pre pokrytie módov.
Od čoho treba Kullbackova-Leiblerova divergencia odlíšiť?
Euklidovská vzdialenosť je symetrická a spĺňa trojuholníkovú nerovnosť; KL divergence ani jednu vlastnosť nemá.
Ako sa Kullbackova-Leiblerova divergencia kontroluje?
Overí sa smer, absolútna kontinuita, normalizácia, log báza, numerické vyhladenie, Monte Carlo chyba a jednotky.
Aké obmedzenie má Kullbackova-Leiblerova divergencia?
Opačné smery KL preferujú odlišné aproximácie a diskrétny binning môže výrazne meniť výsledok.