Presná definícia
Čo znamená plán miery učenia?
Plán miery učenia je pravidlo, ktoré mení learning rate počas tréningu podľa kroku, epochy alebo validačnej metriky. Môže používať skokový či exponenciálny pokles, kosínus, cykly alebo adaptívne zníženie po dosiahnutí plató. Scheduler nemení optimizer ani gradient; upravuje koeficient jeho budúcich krokov a jeho stav musí byť súčasťou checkpointu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Plán sa navrhuje podľa celkového počtu optimalizačných krokov, nie iba epoch, ak sa mení dávka alebo počet zariadení. Tím určí poradie optimizer.step a scheduler.step podľa knižnice a loguje aktuálne lr každej skupiny. Pri obnove sa načíta aj epoch/step schedulera; inak nastane skok. Schedule viazaný na validačnú metriku potrebuje smer zlepšenia, patience a pravidlo pri šume. Porovnanie používa rovnaký tréningový rozpočet.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Podľa čoho sa môže meniť?
Podľa kroku, epochy alebo sledovanej validačnej metriky.
Čo treba uložiť?
Aktuálnu fázu, počet krokov a interné premenné schedulera.
Prečo záleží na volaní step?
Nesprávne poradie môže preskočiť prvú hodnotu alebo posunúť celý plán.
Mení všetky rovnako?
Môže zachovať pomery alebo mať osobitné pravidlá pre skupiny parametrov.
Prečo definovať počet krokov?
Kosínus či warmup závisia od presnej dĺžky tréningu.