Presná definícia
Čo znamená Xavierova inicializácia?
Xavierova alebo Glorotova inicializácia volí rozptyl váh podľa počtu vstupov a výstupov vrstvy tak, aby sa približne zachoval rozptyl dopredných aktivácií aj spätných gradientov. Bežne používa normálne alebo rovnomerné rozdelenie so škálou z fan-in a fan-out. Bola odvodená pre približne lineárne či symetrické aktivácie; pre ReLU býva vhodnejšia Heho schéma.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V MLP s tanh sa každá lineárna vrstva inicializuje Xavierovým rozdelením a bias nulou. Pred tréningom sa na náhodnej dávke skontroluje rozptyl aktivácií po hĺbke; výrazný pokles alebo rast vedie k úprave gainu. Tím zaznamená, či použil normálny alebo uniformný variant a ako vypočítal fan. Výsledok sa porovná s Heho inicializáciou pri rovnakej architektúre a seede.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo má približne zachovať?
Rozptyl signálu pri doprednom aj spätnom prechode.
Z čoho sa škála počíta?
Z fan-in a fan-out vrstvy.
Existuje normálny aj rovnomerný?
Áno, s porovnateľne nastaveným rozptylom.
Je ideálna pre ReLU?
Zvyčajne sa pre ReLU volí Heho inicializácia.
Načo slúži?
Upraví základnú škálu podľa aktivačnej funkcie.