Presná definícia
Čo znamená rozpad váh?
Rozpad váh je aktualizačné pravidlo, ktoré pri každom kroku zmenšuje vybrané parametre smerom k nule. V obyčajnom SGD je za určitých podmienok ekvivalentný L2 penalizácii v strate; pri adaptívnych optimalizátoroch sa ekvivalencia stráca, preto AdamW aplikuje decay oddelene. Rozpad sa typicky nevzťahuje na všetky parametre rovnako a jeho účinok závisí od počtu krokov aj learning rate.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri konfigurácii sa matice váh oddelia od biasov a normalizačných parametrov podľa vopred zdokumentovaného pravidla. Tím ladí decay spolu s lr, batch size a dĺžkou tréningu a kontroluje názvy parametrov v každej skupine. Pri zmene počtu krokov sa celkové násobné zmenšenie zmení aj pri rovnakom koeficiente. Logovanie noriem váh a porovnanie nulového decay odhalí, či pravidlo regularizuje alebo iba brzdí učenie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo sa deje s parametrom?
Násobne sa zmenší o faktor závislý od lr a koeficientu decay.
Kedy je ekvivalentná?
Pri jednoduchom SGD a zhodných konvenciách, nie všeobecne pri Adamovi.
Ktoré parametre sa často vynechávajú?
Biasy a škály normalizačných vrstiev.
Prečo záleží na ich počte?
Malé zmenšenie sa násobí pri každej aktualizácii.
Čo skontrolovať?
Presné parametre v skupinách a normy váh počas tréningu.