Presná definícia
Čo znamená gradient?
Gradient skalárnej funkcie je vektor jej parciálnych derivácií podľa zvolených premenných. Ukazuje smer najrýchlejšieho lokálneho rastu; záporný gradient preto tvorí základ zostupových metód. Je lokálnou informáciou a závisí od mierky parametrov. Nulový gradient nemusí znamenať optimum - môže ísť o sedlový bod, plató, saturáciu alebo nediferencovateľnú konvenciu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Po spätnej propagácii sa pre každú vrstvu zaznamená norma gradientu, pomer k norme parametrov a výskyt NaN. Pri príliš veľkých hodnotách sa skúma strata, škála vstupov a clipping; pri nulových sa hľadá odpojený graf alebo saturácia. Gradient check overí niekoľko parametrov numericky. Samotná veľkosť gradientu sa neinterpretuje bez rýchlosti učenia a predkondicionovania optimalizátora.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Kam gradient ukazuje?
Do smeru najväčšieho lokálneho rastu funkcie.
Prečo sa používa mínus gradient?
Vedie lokálne k poklesu pri dostatočne malom kroku.
Je nulový gradient minimum?
Nie, môže ísť o maximum, sedlo alebo plochú oblasť.
Prečo záleží na jednotkách?
Zmena parametrizácie mení veľkosť zložiek gradientu.
Čo ukazuje?
Súhrnnú veľkosť, nie automaticky kvalitu smeru.