Presná definícia
Čo znamená skupinová normalizácia?
Skupinová normalizácia rozdelí kanály každého príkladu do skupín a v každej vypočíta priemer a rozptyl cez kanály aj priestorové rozmery. Nezávisí od veľkosti dávky, preto je stabilná pri malých batchoch. Hraničnými prípadmi sa približuje LayerNorm pri jednej skupine a InstanceNorm pri jednej skupine na kanál, podľa tvaru dát.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri detekcii veľkých obrazov dovolí pamäť iba dve snímky v dávke, preto sa BatchNorm porovná s GroupNorm. Počet skupín musí deliť počet kanálov a ladí sa bez použitia testu. Tím sleduje presnosť, latenciu a kompatibilitu s predtrénovanými váhami; pri nahradení BatchNorm nemožno staré parametre a štatistiky automaticky považovať za ekvivalentné. Epsilon a afinné parametre sa verziujú.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako sa tvoria?
Rozdelením kanálov jedného príkladu na rovnaké skupiny.
Závisí od batch size?
Nie, nepoužíva štatistiky medzi príkladmi.
Čo musí platiť?
Počet kanálov musí byť deliteľný počtom skupín.
K čomu sa približuje?
K LayerNorm pri jednej skupine a InstanceNorm pri skupine na kanál.
Možno priamo nahradiť BatchNorm?
Nie bez adaptácie a nového overenia.