Presná definícia
Čo znamená miznúci gradient?
Miznúci gradient nastáva, keď sa pri spätnom šírení opakovane násobia derivácie alebo Jacobiany s normou menšou než jedna a signál pre skoršie vrstvy sa stane veľmi malým. Častý je pri saturovaných sigmoidách, tanh a dlhých reťazcoch. Dôsledkom je pomalé učenie vzdialených závislostí; nulová tréningová zmena nemusí znamenať, že vrstva je nepotrebná.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Počas tréningu hlbokej siete sa pre vrstvy logujú normy gradientov a pomer aktualizácie k parametrom. Ak smerom k vstupu systematicky klesajú o rády, tím skontroluje aktivácie, inicializáciu a normalizáciu. Skúsi reziduálne spojenia, vhodnejšiu aktiváciu alebo kratšie cesty. Zvýšenie rýchlosti učenia iba pre celý model môže destabilizovať neskoršie vrstvy, preto sa problém rieši pri zdroji.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo gradient tlmí?
Opakované násobenie malými lokálnymi deriváciami alebo singulárnymi hodnotami.
Ktoré sú rizikové?
Saturovaná sigmoida a tanh v dlhých reťazcoch.
Ktoré vrstvy trpia najviac?
Tie vzdialenejšie od straty v spätnom smere.
Čo merať?
Normy gradientov a veľkosť aktualizácií po vrstvách.
Čo môže pomôcť?
Reziduálne cesty, inicializácia, normalizácia a nesaturujúce aktivácie.