Presná definícia
Čo znamená Heho inicializácia?
Heho inicializácia škáluje počiatočné váhy podľa fan-in, typicky rozptylom 2/fan-in, aby kompenzovala nulovanie približne polovice vstupov pri ReLU. Má normálny aj rovnomerný variant a je navrhnutá pre rektifikačné aktivácie. Pri LeakyReLU sa škála upravuje podľa záporného sklonu; slepé použitie rovnakého gainu pre inú aktiváciu mení tok signálu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Konvolučné a lineárne vrstvy s ReLU sa inicializujú Heho schémou v správnom režime fan-in. Pre LeakyReLU sa do výpočtu gainu zadá skutočný sklon. Tím urobí krátky diagnostický prechod a porovná rozptyl aktivácií a gradientov medzi vrstvami. Pri reziduálnej architektúre môže poslednú vrstvu bloku inicializovať osobitne, ak to predpisuje overený dizajn; taká výnimka sa dokumentuje.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Aká je typická hodnota pre ReLU?
Približne 2/fan-in pre normálny variant.
Prečo faktor dva?
ReLU približne odstráni polovicu symetrického signálu.
Čo treba zohľadniť?
Jej záporný sklon pri výpočte gainu.
Fan-in alebo fan-out?
Fan-in chráni dopredný rozptyl; voľba závisí od cieľa.
Ako overiť štart?
Zmerať aktivácie a gradienty na krátkom prechode.