Presná definícia
Čo znamená presakujúca ReLU?
Presakujúca ReLU zachováva pre kladné vstupy hodnotu x a pre záporné malý lineárny sklon αx namiesto nuly. Záporná vetva tak prepúšťa gradient a znižuje riziko trvalo neaktívnych jednotiek. Sklon α je pevný hyperparameter; príliš veľká hodnota mení funkciu na takmer lineárnu, príliš malá sa správa podobne ako ReLU.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V sieti s vysokým podielom mŕtvych ReLU sa aktivácia nahradí LeakyReLU a porovná sa niekoľko vopred určených sklonov. Inicializácia sa prispôsobí zisku aktivácie a experiment zachová rovnaké seedy. Tím sleduje záporné aktivácie, gradienty a validačný výkon, nie iba rýchlosť poklesu straty. Hodnota α sa uloží v konfigurácii, lebo je súčasťou modelu aj pri inferencii.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo vracia?
αx s malým pevným kladným sklonom α.
Učí sa α?
Nie pri LeakyReLU; pri PReLU áno.
Prečo pomáha?
Záporné vstupy stále prenášajú nenulový gradient.
Čo ak je α príliš veľké?
Obe vetvy sú si podobné a nelinearita slabne.
Musí sa α uložiť?
Áno, určuje výpočet pri tréningu aj inferencii.