Presná definícia
Čo znamená inicializácia váh?
Inicializácia váh určuje počiatočné hodnoty trénovateľných parametrov pred prvým optimalizačným krokom. Jej cieľom je narušiť symetriu medzi jednotkami a udržať rozumný rozptyl aktivácií aj gradientov naprieč hĺbkou. Nulová inicializácia všetkých váh skrytej vrstvy zachová rovnaké jednotky; príliš veľké alebo malé hodnoty podporia explóziu či miznutie signálu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pred tréningom sa zvolí schéma podľa aktivácie a fan-in/fan-out vrstvy: Xavier pre približne symetrické aktivácie, He pre rektifikátory. Biasy sa nastavujú oddelene. Tím loguje rozptyl aktivácií a gradientov na niekoľkých dávkach ešte pred dlhým tréningom a opakuje experiment s viacerými seedmi. Checkpoint obsahuje seed aj verziu knižnice, pretože náhodný štart môže ovplyvniť konečný výsledok.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Prečo nie všetky váhy nula?
Jednotky by dostávali rovnaké gradienty a zostali identické.
Čo znamená?
Počet vstupov do jednotky alebo vrstvy.
Čo znamená?
Počet výstupných spojení z vrstvy.
Prečo ovplyvňuje schému?
Mení rozptyl a deriváciu prenášaného signálu.
Zaručí seed rovnaký výsledok?
Pomáha, no úplná deterministickosť závisí aj od hardvéru a operácií.