Presná definícia
Čo znamená zmrazená chrbticová sieť?
Zmrazená chrbticová sieť je predtrénovaná časť modelu, ktorej parametre sa počas cieľového tréningu neaktualizujú; učí sa iba pridaná hlava alebo malé moduly. Zmrazenie šetrí pamäť a chráni reprezentáciu pred veľkými zmenami. Nestačí však vypnúť gradienty: vrstvy s prevádzkovým stavom, napríklad dávková normalizácia, musia mať správne nastavený tréningový režim.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri malej sade sa chrbtica prepne do evaluačného režimu, jej parametre sa označia bez gradientu a trénuje sa klasifikačná hlava. Tím overí, či sa nemenia bežiace štatistiky normalizácie a či optimalizátor neobsahuje zmrazené parametre. Po stabilnom základe môže rozmraziť posledný blok s nižšou rýchlosťou. Experiment zaznamená presný rozsah zmrazenia, lebo názov modelu sám konfiguráciu neurčuje.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo znamená zmrazenie?
Parametre chrbtice sa optimalizačným krokom nemenia.
Prečo záleží na train/eval?
Dropout a normalizačné vrstvy sa v týchto režimoch správajú odlišne.
Čo sa ušetrí?
Gradienty a stav optimalizátora pre zmrazené parametre.
Možno chrbticu neskôr odomknúť?
Áno, často sa rozmrazuje postupne.
Čo treba uviesť?
Checkpoint, zmrazené bloky, režim vrstiev a rýchlosti učenia.