Presná definícia
Čo znamená optimalizácia s momentom?
Optimalizácia s momentom udržiava exponenciálne vážený súhrn minulých gradientov a používa ho na aktualizáciu parametrov. V smeroch s konzistentným sklonom zrýchľuje pohyb, kým oscilácie v strmých smeroch sa čiastočne vyrušia. Konkrétne znamienka a poradie dampeningu sa medzi formuláciami líšia, preto hyperparameter momentum nemožno interpretovať bez rovnice použitej knižnice.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Momentum sa často kombinuje s SGD pri CNN a iných modeloch. Tím nastaví koeficient, learning rate a prípadný dampening, pričom pri obnove tréningu uloží aj buffer momentu. Náhla zmena dát alebo learning rate môže spôsobiť prekmit, lebo buffer nesie starý smer. Diagnostika porovnáva normu aktuálneho gradientu s normou aktualizácie a pri nestabilite skúša nižší krok, reset bufferu iba ako riadený zásah a gradient clipping.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo uchováva?
Decayovaný súčet alebo priemer minulých gradientov.
Kedy pomáha?
Keď gradienty po viacerých krokoch ukazujú podobným smerom.
Ako ju tlmí?
Protikladné zložky striedajúcich sa gradientov sa v buffri vyrušia.
Čo treba uložiť?
Parametre modelu aj stav optimalizátora vrátane momentových bufferov.
Sú všetky implementácie rovnaké?
Nie; líšia sa inicializáciou, dampeningom a poradím aktualizácie.