Presná definícia
Čo znamená kosínusové ochladzovanie?
Kosínusové ochladzovanie mení learning rate po polovici kosínusovej krivky z maxima k zvolenému minimu. Začiatok klesá pomaly, stred rýchlejšie a koniec sa opäť splošťuje; pri SGDR sa krivka periodicky reštartuje. Metóda nevyhodnocuje teplotu ani validačnú stratu - „ochladzovanie“ je analógia pre deterministický časový plán.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Scheduler sa nastaví podľa celkového počtu optimizer krokov a minimálneho lr. Ak sa použijú reštarty, treba určiť dĺžky cyklov a či sa maxima menia. Tím overí hodnotu v prvom, strednom a poslednom kroku, pretože off-by-one chyba mení celý priebeh. Warmup sa skladá s kosínusom tak, aby nedošlo k nechcenému skoku. Pri predčasnom ukončení môže model skončiť ešte pri vysokom lr, preto sa checkpointy porovnávajú s aktuálnou fázou plánu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Aký má tvar?
Polovicu kosínusu medzi maximálnou a minimálnou mierou učenia.
Musí skončiť na nule?
Nie, eta_min môže byť kladná.
Čo robí SGDR?
Po dosiahnutí minima vráti lr na vyššiu hodnotu a začne nový cyklus.
Reaguje na validačný výkon?
Nie, základná verzia závisí iba od času alebo kroku.
Ako odhaliť chybu v indexovaní?
Logovať prvý, hraničný a posledný lr oproti vypočítanému plánu.