Presná definícia
Čo znamená váha?
Váha je trénovateľný parameter násobiaci vstup alebo aktiváciu v neurónovej sieti. V lineárnej vrstve tvorí prvok matice, ktorá určuje smer a mierku transformácie; v konvolúcii je súčasťou zdieľaného jadra. Samotná veľkosť váhy nie je spoľahlivou mierou dôležitosti bez škály vstupu, symetrií siete a nadväzujúcich vrstiev.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri audite lineárnej vrstvy sa kontroluje tvar matice, inicializačné rozdelenie, normy a zmeny počas tréningu. Príliš veľké normy môžu signalizovať nestabilitu, no prah sa posudzuje vzhľadom na architektúru a normalizáciu. Ak sa váhy regularizujú, experiment uvedie, na ktoré parametre sa weight decay vzťahuje. Interpretácia vplyvu sa overuje perturbáciou alebo atribučnou metódou, nie iba zoradením absolútnych hodnôt.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo váha robí?
Škáluje príspevok vstupu do transformácie.
Je váha vždy skalár?
Jednotlivý parameter áno, no vrstvy ich organizujú do matíc či jadier.
Ako sa aktualizuje?
Optimalizátorom podľa gradientu a prípadnej regularizácie.
Môže sa jedna váha použiť na viacerých miestach?
Áno, napríklad v konvolučnom jadre.
Je veľká absolútna váha najdôležitejšia?
Nie bez kontextu škály a celej siete.