Presná definícia
Čo znamená člen posunu?
Člen posunu je trénovateľná aditívna konštanta v afínnej transformácii z = Wx + b. Umožňuje posunúť aktivačný prah alebo rozhodovaciu nadrovinu mimo počiatku a dáva výstup aj pri nulovom vstupe. Bias v tejto vrstve sa nemá zamieňať so štatistickým či spoločenským skreslením; rovnaké anglické slovo označuje odlišné pojmy.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri lineárnej vrstve sa overí, či je bias vhodný vzhľadom na nasledujúcu normalizáciu; niektoré architektúry ho pred BatchNorm vypínajú ako nadbytočný. Inicializuje sa typicky na nulu alebo doménovo odôvodnenú hodnotu, napríklad podľa triedneho podielu výstupu. Tím kontroluje jeho gradient a tvar pre broadcast. Odstránenie biasu sa hodnotí abláciou, nie automatickým pravidlom.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Kde vstupuje do výpočtu?
Pripočíta sa k výsledku maticového násobenia.
Čo umožňuje?
Nenulový predaktivačný výstup aj pri x = 0.
Je to spoločenské skreslenie modelu?
Nie, ide o matematický parameter.
Je vždy potrebný?
Pred niektorými normalizačnými vrstvami môže byť redundantný.
Ako sa používa pre dávku?
Broadcastuje sa cez príklady a prípadne priestorové pozície.