Presná definícia
Čo znamená rektifikovaná lineárna jednotka?
Rektifikovaná lineárna jednotka ReLU počíta max(0,x): záporné vstupy nastaví na nulu a kladné ponechá lineárne. Je výpočtovo jednoduchá a v kladnej oblasti nesaturuje, čo uľahčuje tréning hlbokých sietí. Na zápornom polopriestore má nulový gradient; jednotka, ktorá sa tam dostane pre všetky dáta, môže zostať trvalo neaktívna.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V skrytých vrstvách sa ReLU spojí s Heho inicializáciou a primeranou rýchlosťou učenia. Tím sleduje podiel nulových aktivácií pre každú vrstvu a pri veľkom počte mŕtvych jednotiek skúsi menší krok, inú inicializáciu alebo LeakyReLU. Výstupná vrstva sa ReLU neobmedzuje automaticky: použije sa len vtedy, ak cieľ musí byť nezáporný a nulový gradient pri zápornom logite je prijateľný.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako sa počíta?
max(0,x).
Aký je pre záporný vstup?
Nulový; v bode nula sa volí konvenčná subderivácia.
Čo to znamená?
Pre všetky dáta vracia nulu a nedostáva užitočný gradient.
Prečo sa používa?
Je jednoduchá a v kladnej oblasti nemá sigmoidálnu saturáciu.
Je vhodná na každú výstupnú vrstvu?
Nie, obmedzenie musí zodpovedať cieľu a strate.