Presná definícia
Čo znamená kolaps posterioru?
Kolaps posterioru nastane vo variačnom latentnom modeli, keď aproximovaný posterior q(z|x) splynie s priorom p(z) a dekóder prestane latentný kód využívať. Rekonštrukciu potom zabezpečuje najmä silný autoregresný dekóder a člen KL divergencie klesne k nule, hoci optimalizačný cieľ môže vyzerať uspokojivo.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri textových VAE sa sleduje KL na príklad, počet aktívnych latentných rozmerov a zmena výstupu po zmene z. Pomôcť môže postupné zvyšovanie váhy KL, slabší dekóder, voľné bity alebo upravený cieľ. Každá úprava sa má overiť rekonštrukciou aj kvalitou generovania, nie iba vyššou KL.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje kolaps posterioru?
Ak dekóder dokáže predikovať dáta bez z, optimalizácia zníži cenu prenosu informácie tým, že q(z|x) priblíži k prioru.
Kedy má kolaps posterioru praktický význam?
Pri textových VAE sa sleduje KL na príklad, počet aktívnych latentných rozmerov a zmena výstupu po zmene z.
S čím si pojem nezamieňať?
Kolaps módov obmedzuje rozmanitosť vzoriek generátora; kolaps posterioru znamená, že latentný kanál nenesie informáciu o vstupe.
Ako sa výsledok kontroluje?
Kontroluje sa KL divergencia, mutual information, aktívne jednotky, rekonštrukcia po zamiešaní z a citlivosť dekódera na latentný kód.
Na čo si dať pozor?
Vyššia KL sama osebe nezaručí zmysluplnú reprezentáciu; agresívna náprava môže zhoršiť generovanie alebo rekonštrukciu.