Presná definícia
Čo znamená reparametrizačný trik?
Reparametrizačný trik prepíše náhodnú premennú z parametrizovaného rozdelenia ako deterministickú diferencovateľnú funkciu parametrov a pomocného šumu nezávislého od nich. Pri Gaussovom qφ(z|x) sa používa z=μ+σ⊙ε, ε~N(0,I), čo umožní preniesť gradient vzorkovaním s nižšou varianciou.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Vo VAE umožňuje trénovať enkodér štandardnou spätnou propagáciou cez náhodný latentný kód. Implementácia musí správne parametrizovať kladnú smerodajnú odchýlku a oddeľovať zdroj šumu od parametrov. Gradient sa overí numerickou kontrolou na malej úlohe a stabilitou pri viacerých vzorkách ε.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje reparametrizačný trik?
Náhodnosť sa presunie do ε s pevnou distribúciou; všetka závislosť od φ zostane v diferencovateľnej transformácii gφ(ε,x).
Kedy má reparametrizačný trik praktický význam?
Vo VAE umožňuje trénovať enkodér štandardnou spätnou propagáciou cez náhodný latentný kód.
S čím si pojem nezamieňať?
Nejde o odstránenie náhodnosti ani o všeobecné vzorkovanie; je to spôsob odhadu gradientu očakávania vzhľadom na parametre distribúcie.
Ako sa výsledok kontroluje?
Porovnáva sa automatický gradient s konečnými rozdielmi, variancia gradientov a výsledok pri viacerých nezávislých šumoch.
Na čo si dať pozor?
Nie každé diskrétne alebo zložité rozdelenie má jednoduchú diferencovateľnú reparametrizáciu; nesprávna transformácia vedie k chybným gradientom.