Presná definícia
Čo znamená vzájomná informácia?
Vzájomná informácia meria, o koľko znalosť jednej premennej znižuje neistotu druhej; rovná sa KL divergencii spoločného rozdelenia od súčinu marginálov. Zachytáva aj nelineárnu závislosť a je nulová pri nezávislosti.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri výbere príznakov tím odhaduje mutual information s cieľom na tréningových dátach, používa vnorenú validáciu a sleduje redundanciu medzi vybranými znakmi.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená vzájomná informácia?
Vzájomná informácia meria, o koľko znalosť jednej premennej znižuje neistotu druhej; rovná sa KL divergencii spoločného rozdelenia od súčinu marginálov.
Kedy sa vzájomná informácia používa?
Pri výbere príznakov tím odhaduje mutual information s cieľom na tréningových dátach, používa vnorenú validáciu a sleduje redundanciu medzi vybranými znakmi.
Od čoho treba vzájomná informácia odlíšiť?
Korelácia typicky meria lineárnu alebo monotónnu väzbu; mutual information zachytáva všeobecnú štatistickú závislosť.
Ako sa vzájomná informácia kontroluje?
Overí sa odhad hustoty alebo k-NN nastavenie, bias malej vzorky, binning, permutačná baseline a únik cieľa.
Aké obmedzenie má vzájomná informácia?
Odhad vo vysokej dimenzii je náročný a vysoká informácia nepreukazuje kauzalitu ani prevádzkovú užitočnosť.