Presná definícia
Čo znamená RMSProp?
RMSProp škáluje gradient parametra odmocninou z exponenciálneho priemeru jeho štvorcov. Na rozdiel od AdaGrad staršie gradienty postupne zabúda, takže menovateľ nemusí monotónne rásť počas celého tréningu. Implementácie sa líšia v poradí epsilona, možnosti centrovaného druhého momentu a pridaní momenta; tieto detaily menia numerické správanie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
RMSProp sa používa pri nestacionárnych alebo rekurentných úlohách a ako jednoduchý adaptívny základ. Tím nastaví learning rate, decay alpha, epsilon a prípadný momentum, potom sleduje rozsah druhomomentových akumulátorov. Pri mixed precision sa stav optimalizátora obvykle drží vo vyššej presnosti. Reprodukcia musí uviesť implementáciu; rovnaký názov s epsilonom pod alebo nad odmocninou nemusí dať rovnakú trajektóriu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo obsahuje?
Exponenciálne vážený priemer štvorcov gradientu.
Ako sa líši od AdaGrad?
Staré štvorce násobí decay faktorom namiesto nekonečného kumulovania.
Čo robí centered variant?
Odhaduje varianciu odčítaním štvorca priemerného gradientu.
Je jeho poloha vždy rovnaká?
Nie, knižnice ho môžu pridať pred alebo po odmocnine.
Môže ho RMSProp používať?
Áno, niektoré implementácie kombinujú adaptívne škálovanie s momentum bufferom.