Presná definícia
Čo znamená Nadam?
Nadam kombinuje Adamovo adaptívne škálovanie prvým a druhým momentom s Nesterovovým momentum pohľadom na prvý moment. Aktualizácia obsahuje bias-corrected odhad momenta aj priamy príspevok aktuálneho gradientu v Nesterovovej kombinácii. Existuje viac variantov časového plánu momenta, preto presný algoritmus treba viazať na konkrétnu implementáciu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Nadam sa používa ako alternatíva k Adamovi, keď sa chce vyskúšať anticipačná korekcia momenta bez opustenia adaptívnych krokov. Tím porovnáva model s Adamom pri osobitne vyladenom learning rate a betách; rovnaké hodnoty nemusia byť férové optimum. Pri PyTorch sa kontroluje momentum_decay a decoupled_weight_decay. Checkpoint musí obsahovať momenty a krok, inak sa zmení korekcia vychýlenia aj plán momenta.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Z čoho vzniká Nadam?
Z Adamových momentov a Nesterovovej úpravy smeru prvého momentu.
Prečo je v kroku explicitne?
Nesterovova forma kombinuje predikované momentum s čerstvou informáciou.
Čo môže meniť momentum_decay?
Časový rozvrh príspevku momenta v konkrétnej implementácii.
Je Nadam vždy lepší než Adam?
Nie, výsledok závisí od dát, modelu a ladenia.
Čo uviesť?
Knižnicu, verziu, bety, epsilon, momentum decay a spôsob weight decay.