Presná definícia
Čo znamená hyperbolický tangens?
Hyperbolický tangens tanh(x) je hladká aktivačná funkcia s rozsahom (-1,1) a nulovo centrovaným výstupom. Jej derivácia je najväčšia pri nule a pri veľkých absolútnych vstupoch sa blíži k nule, takže v hlbokom reťazci môže prispievať k miznúcemu gradientu. Oproti sigmoide má symetrický rozsah, no rovnaký problém saturácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V malej rekurentnej alebo doprednej sieti sa vstupy škálujú tak, aby predaktivácie nezačínali hlboko v saturácii. Počas tréningu sa sleduje histogram tanh výstupov a gradientov; množstvo hodnôt pri -1 a 1 signalizuje problém. Tanh sa použije, keď je vhodná ohraničená symetrická reprezentácia, a porovná sa s ReLU či GELU. Na výstupe regresie obmedzuje cieľ iba vtedy, ak je skutočne škálovaný na daný interval.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Kam mapuje vstup?
Do otvoreného intervalu od -1 do 1.
Prečo je nulovo centrovaná?
Pri x = 0 vracia nulu a má symetrické kladné i záporné hodnoty.
Kde saturuje?
Pri veľkých kladných a záporných vstupoch.
Čo sa v saturácii deje?
Derivácia sa približuje k nule.
Kedy je vhodná pre regresiu?
Keď je cieľ zmysluplne obmedzený a škálovaný na (-1,1).