Presná definícia
Čo znamená aktivačná funkcia?
Aktivačná funkcia premieňa predaktiváciu jednotky alebo kanála a vnáša do siete nelinearitu či požadované obmedzenie výstupu. Bez nelineárnych aktivácií sa ľubovoľný počet afinných vrstiev zloží na jedinú afinnú transformáciu. Voľba ovplyvňuje tok gradientov, rozsah aktivácií a numerickú stabilitu; výstupná aktivácia navyše musí zodpovedať strate.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri návrhu MLP sa pre skryté vrstvy porovnajú ReLU, GELU a hladké alternatívy pri rovnakej inicializácii a rozpočte. Sleduje sa rozdelenie aktivácií, podiel nulových jednotiek, normy gradientu a validačný výkon. Výstup sa volí podľa cieľa: žiadne ohraničenie pre bežnú regresiu, sigmoidálne logity pre nezávislé triedy a softmaxová interpretácia pre jednu z viacerých tried.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Prečo je dôležitá?
Umožňuje skladať funkcie zložitejšie než jedna lineárna mapa.
Má každá aktivácia parametre?
Nie; PReLU ich má, ReLU nie.
Je softmax vhodný všade?
Nie, typicky patrí na špecifický klasifikačný výstup.
Ako aktivácia ovplyvňuje učenie?
Jej derivácia zosilňuje, tlmí alebo zastavuje spätný signál.
Existuje univerzálne najlepšia?
Nie, rozhoduje architektúra, úloha a experiment.