Presná definícia
Čo znamená parametrická ReLU?
Parametrická ReLU (PReLU) má tvar x pre kladný vstup a ax pre záporný, pričom sklon a sa učí spolu s ostatnými parametrami. Sklon môže byť spoločný pre vrstvu alebo osobitný pre kanály. Oproti LeakyReLU odstraňuje ručnú voľbu záporného sklonu, ale pridáva parametre a môže sa preučiť, najmä pri malých dátach bez regularizácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri konvolučnej sieti sa zvolí jeden sklon na kanál a inicializuje malou kladnou hodnotou. Tím sleduje jeho rozdelenie, aby odhalil extrémne alebo záporné hodnoty, a porovná PReLU s pevnou LeakyReLU. Weight decay sa na parametre sklonu aplikuje iba po vedomom rozhodnutí. Checkpoint musí obsahovať naučené sklony; ich nahradenie predvolenou hodnotou by zmenilo model.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čím sa líši od LeakyReLU?
Záporný sklon sa učí, nie je pevne zadaný.
Koľko sklonov môže mať?
Jeden spoločný alebo jeden na každý kanál.
Ako sa začína?
Zvyčajne malou kladnou hodnotou podobnou LeakyReLU.
Má sa sklon penalizovať?
Nie automaticky; treba to rozhodnúť a zdokumentovať.
Je PReLU bezstavová?
Používa naučené parametre sklonu uložené v modeli.