Presná definícia
Čo znamená dávková normalizácia?
Dávková normalizácia pri tréningu štandardizuje aktivácie pomocou priemeru a rozptylu mini-dávky a následne aplikuje učenú škálu γ a posun β. Pri inferencii používa bežiace populačné odhady. Výstup jedného príkladu preto počas tréningu závisí od ostatných v dávke; malé alebo nereprezentatívne dávky môžu vytvoriť hlučné štatistiky.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V konvolučnej sieti sa BatchNorm umiestni podľa architektúry a veľkosť dávky sa zaznamená ako podstatný hyperparameter. Tím sleduje bežiace priemery, overí train/eval režim a pri distribuovanom tréningu rozhodne, či štatistiky synchronizuje. Pri veľmi malej dávke porovná GroupNorm. Pred exportom sa na rovnakej vstupnej dávke porovnajú výstupy tréningového frameworku a inferenčného enginu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Z čoho sa pri tréningu počítajú?
Z aktuálnej mini-dávky pre určené rozmery.
Čo sa používa?
Bežiace odhady priemeru a rozptylu.
Čo sú γ a β?
Naučená škála a posun po štandardizácii.
Prečo je problém?
Odhad štatistík je hlučný a závislý od zloženia.
Čo ak zostane train mód v produkcii?
Výstup bude závisieť od aktuálnej dávky a môže byť nestabilný.