Presná definícia
Čo znamená Nesterovov moment?
Nesterovov moment upravuje klasické momentum tak, že gradient vyhodnocuje vzhľadom na parametre posunuté v smere doterajšej rýchlosti, teda na „predbežnom“ bode. Aktualizácia tak môže korigovať zotrvačnosť skôr, než sa vykoná celý krok. V knižniciach sa často používa algebraicky ekvivalentná forma, preto treba čítať dokumentovanú rovnicu a podmienky pre momentum a dampening.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Nesterov sa používa ako voľba v SGD s momentom a porovnáva sa pri rovnakom scheduleri, dávke a tréningovom rozpočte. Pri PyTorch musí byť momentum kladné a dampening nulový. Tím neladí iba prepínač nesterov: learning rate vhodný pre bežné momentum nemusí byť optimálny. Pri reprodukcii sa uloží celý stav optimalizátora a uvedie verzia knižnice, pretože malé rozdiely v rovniciach sa kumulujú.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo znamená look-ahead?
Gradient reaguje na bod, ku ktorému by momentum parametre práve posunulo.
Prečo môže obmedziť prekmit?
Vidí sklon po predbežnom posune a upraví nahromadenú rýchlosť.
Čo vyžaduje PyTorch SGD?
Kladné momentum a pri Nesterove nulový dampening.
Stačí zapnúť Nesterov?
Nie, treba znova overiť mieru učenia a plán.
Prečo uviesť implementáciu?
Rôzne konvencie používajú odlišné, hoci príbuzné rovnice.