Presná definícia
Čo znamená vrstvová normalizácia?
Vrstvová normalizácia štandardizuje pre každý príklad hodnoty naprieč určenými príznakovými rozmermi a potom používa učenú škálu a posun. Nevyužíva štatistiky ostatných príkladov v dávke, preto sa správa rovnako pri tréningu aj inferencii a je vhodná pre sekvencie a transformery. Výsledok však závisí od presnej voľby normalizovaných rozmerov a epsilonu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V transformerovom bloku sa LayerNorm aplikuje na posledný rozmer vnorovania; tím zachová polohu pre-norm alebo post-norm podľa checkpointu. Testy používajú dávku veľkosti jedna aj viac a musia dať pre daný príklad rovnaký výsledok. Pri exporte sa porovná epsilon a definícia rozptylu v runtime. Ukladajú sa parametre γ, β a normalizovaný tvar, nie iba názov vrstvy.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Cez čo počíta štatistiky?
Cez určené príznakové rozmery v rámci jedného príkladu.
Závisí od ostatných príkladov?
Nie.
Používa bežiace priemery?
Nie, štatistiky počíta z aktuálneho príkladu.
Kde sa používa?
Pred alebo po podbloku podľa pre-norm či post-norm architektúry.
Načo slúži?
Stabilizuje delenie pri veľmi malom rozptyle.