Presná definícia
Čo znamená explodujúci gradient?
Explodujúci gradient vzniká, keď súčin lokálnych derivácií alebo Jacobianov v dlhom výpočte prudko zväčší spätný signál. Parametrové kroky potom môžu preskočiť stabilnú oblasť, vytvoriť nekonečné hodnoty alebo NaN. Orezávanie gradientu obmedzí bezprostredný krok, no nevysvetľuje príčinu, ktorou môže byť zlá inicializácia, škála alebo numericky nestabilná strata.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tréning loguje globálnu aj vrstvovú normu gradientu ešte pred clippingom. Pri prekročení prahu sa gradient orezáva podľa normy a udalosť sa zaznamená; časté zásahy signalizujú potrebu opravy. Tím preverí vstupy, inicializáciu, rýchlosť učenia a stabilnú formuláciu straty. Automatická zmiešaná presnosť používa kontrolu pretečenia. Checkpoint pred prvým výbuchom umožní reprodukovať konkrétnu dávku.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako sa prejaví?
Obrovskými normami, prudkým skokom straty alebo NaN.
Čo robí?
Obmedzí normu alebo hodnoty gradientu pred optimalizačným krokom.
Odstraňuje príčinu?
Nie vždy; je aj ochranným mechanizmom.
Čo treba preveriť?
Inicializáciu, vstupnú škálu, stratu a rýchlosť učenia.
Prečo logovať pred clippingom?
Inak sa frekvencia a závažnosť problému skryjú.