Presná definícia
Čo znamená cyklická miera učenia?
Cyklická miera učenia periodicky mení learning rate medzi dolnou a hornou hranicou namiesto monotónneho poklesu. Trojuholníkový variant rastie a klesá lineárne; amplitúda sa môže medzi cyklami zmenšovať. Vyššia časť cyklu podporuje prieskum parametrového priestoru a nižšia presnejšie dolaďovanie, no hranice musia zodpovedať stabilnému rozsahu modelu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Praktický postup použije LR range test na odhad spodnej a hornej hranice, zvolí počet optimizer krokov v polcykle a zaznamená lr spolu s loss. Cykly sa počítajú po aktualizáciách, nie po mikro-batchoch pri akumulácii. Tím porovná najlepší aj posledný checkpoint, pretože koniec vo vysokej fáze môže vyzerať horšie. Ak sa používa cyklický moment, musí sa logovať spolu s lr a správne obnoviť zo stavu schedulera.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo definujú?
Najnižšiu a najvyššiu learning rate v cykle.
Koľko trvá?
Zvolený počet optimizer krokov od jednej hranice k druhej.
Musí zostať rovnaká?
Nie, variant triangular2 ju po cykloch zmenšuje.
Môže sa cyklovať tiež?
Áno, často opačne k learning rate.
Prečo nebrať automaticky posledný?
Môže ležať vo fáze vysokej miery učenia.