Presná definícia
Čo znamená dolná hranica dôkazu?
Dolná hranica dôkazu (ELBO) je cieľ L(q)=Eq[log p(x,z)-log q(z|x)], ktorý nikdy neprevyšuje log p(x). Rozdiel medzi log-dôkazom a ELBO je KL divergencia medzi aproximačným q(z|x) a skutočným posteriorom. Maximalizácia preto súčasne zlepšuje prispôsobenie dát a aproximáciu posterioru.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Vo VAE sa ELBO počíta ako rekonštrukčný člen mínus regularizácia KL a optimalizuje sa po minibatchoch. Pri diagnostike sa majú členy sledovať oddelene: rovnaký súčet môže skrývať zlú rekonštrukciu alebo kolaps posterioru. ELBO možno použiť na porovnanie behov s rovnakou formuláciou, nie automaticky rôznych modelových rodín.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje dolná hranica dôkazu?
Rozklad log p(x)=ELBO+KL(q||p(z|x)) zabezpečí hranicu; očakávania sa odhadujú vzorkami a gradientmi.
Kedy má dolná hranica dôkazu praktický význam?
Vo VAE sa ELBO počíta ako rekonštrukčný člen mínus regularizácia KL a optimalizuje sa po minibatchoch.
S čím si pojem nezamieňať?
ELBO nie je samotná log-vierohodnosť, pokiaľ sa aproximačný posterior presne nerovná skutočnému posterioru.
Ako sa výsledok kontroluje?
Kontroluje sa celková hranica aj rekonštrukčný a KL člen, variancia Monte Carlo odhadu a zovretie hranice pri bohatšom q.
Na čo si dať pozor?
Vyššia ELBO nemusí znamenať lepšiu perceptuálnu kvalitu; škálovanie členov alebo odlišná parametrizácia sťažujú priame porovnanie.