Presná definícia
Čo znamená prirodzený gradient?
Prirodzený gradient upravuje obyčajný gradient inverziou Fisherovej informačnej metriky, aby krok zodpovedal malej zmene modelovaného pravdepodobnostného rozdelenia, nie iba euklidovskej vzdialenosti parametrov. Je invariantnejší voči hladkým preparametrizovaniam modelu. Presný Fisher je pri veľkých sieťach drahý, preto sa používajú diagonálne, blokové alebo Kroneckerove aproximácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Metóda je užitočná pri pravdepodobnostných modeloch a politikách, kde rovnaká numerická zmena rôznych parametrov nemusí znamenať rovnakú zmenu výstupného rozdelenia. Tím určí, či používa pravý Fisher, empirický Fisher alebo Gaussovu-Newtonovu aproximáciu; tieto objekty nie sú vždy zameniteľné. Damping chráni riešenie pred malými vlastnými hodnotami. Hodnotí sa pokles loss na jednotku výpočtu a skutočná KL zmena modelu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Aký priestor meria?
Priestor distribúcií modelu cez Fisherovu informačnú maticu.
Ako sa líši od gradientu?
Smer F⁻¹g koriguje citlivosť parametrov.
Voči čomu je odolnejší?
Voči hladkej zmene parametrizácie toho istého modelu.
Prečo je potrebná?
Plný Fisher je príliš veľký na uloženie a inverziu.
Čo rieši?
Numerickú nestabilitu a príliš veľké kroky v slabo určených smeroch.