Presná definícia
Čo znamená zahrievacia fáza?
Zahrievacia fáza je úvodný úsek tréningu, počas ktorého sa miera učenia zvyšuje z malej hodnoty na cieľovú, najčastejšie lineárne. Znižuje riziko nestabilných veľkých krokov, kým sú parametre, momentové odhady alebo normalizačné štatistiky ešte zle ustálené. Warmup nie je regularizácia sám osebe a jeho dĺžka sa udáva v optimalizačných krokoch alebo ako podiel tréningu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Warmup je bežný pri transformátoroch a veľkých dávkach. Tím vypočíta počet krokov po zohľadnení akumulácie gradientov a world size a loguje krivku, aby sa vrchol dosiahol v zamýšľanom bode. Po zahrievaní nasleduje hlavný scheduler, napríklad kosínusový pokles. Príliš dlhá fáza premrhá rozpočet pri malom kroku, príliš krátka neochráni úvod; voľba sa overí stabilitou loss a gradientov v prvých percentách tréningu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako sa lr zvyčajne mení?
Lineárne alebo podľa inej monotónnej krivky od malej po cieľovú hodnotu.
V čom ju udávať?
V optimizer krokoch alebo jasne definovanom podiele celého plánu.
Prečo súvisí s veľkou dávkou?
Škálovaný cieľový lr môže byť na úplnom začiatku nestabilný.
Ktoré kroky počítať?
Skutočné aktualizácie parametrov, nie každý mikro-batch.
Čo sa deje potom?
Riadenie prevezme hlavný konštantný alebo klesajúci scheduler.