Presná definícia
Čo znamená miera učenia?
Miera učenia je koeficient, ktorý určuje základnú veľkosť optimalizačnej aktualizácie parametrov. Pri SGD priamo násobí gradient; pri Adamovi či RMSProp násobí už momentmi preškálovaný smer, takže nejde o rovnakú absolútnu zmenu. Príliš veľká hodnota môže preskakovať stabilné oblasti alebo divergovať, príliš malá predlžuje tréning a môže uviaznuť v numerickom šume.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím hľadá rozumný rozsah krátkym LR range testom alebo logaritmickou mriežkou a potom hodnotu viaže na optimizer, batch size a scheduler. Sleduje pomer normy aktualizácie k norme parametrov, pretože samotný údaj 1e-3 nič nehovorí o skutočnom kroku. Pri zmene počtu zariadení a efektívnej dávky sa learning rate vedome prepočíta alebo znovu naladí. Finálna konfigurácia uvádza osobitné hodnoty pre všetky skupiny parametrov.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo priamo riadi?
Základnú mierku zmeny parametrov pri jednom kroku optimalizátora.
Má rovnaký význam v SGD a Adamovi?
Nie; adaptívny optimizer pred násobením smer preškáluje.
Prečo s ňou súvisí?
Veľkosť dávky mení rozptyl gradientu a počet aktualizácií.
Môžu mať vrstvy rôzne lr?
Áno, parametre možno rozdeliť do skupín s odlišnými koeficientmi.
Ako vyzerá príliš veľká hodnota?
Oscilujúca alebo rastúca loss, extrémne aktualizácie a nestabilné metriky.