Presná definícia
Čo znamená stochastický gradientný zostup?
Stochastický gradientný zostup aktualizuje parametre odhadom gradientu z náhodne vybranej vzorky alebo malej podmnožiny namiesto celej tréningovej množiny. Odhad je za bežného rovnomerného výberu nezaujatý, ale má rozptyl, ktorý do trajektórie vnáša šum. V praxi názov SGD často zahŕňa minidávky a voliteľný moment, hoci čistá stochastická verzia používa jednu vzorku.
Skúsenosť a kontext
Ako sa pojem používa v praxi
SGD je vhodný pri veľkých dátach a online učení, kde celý gradient nie je dostupný alebo by bol drahý. Dataloader mieša tréningové príklady, no časové či skupinové dáta sa nesmú premiešať spôsobom, ktorý poruší validáciu. Tím nastaví mieru učenia, prípadný moment a plán jej poklesu a reportuje efektívnu veľkosť dávky. Veľký rozptyl sa prejaví kolísaním loss; posudzuje sa vyhladená krivka a viac seedov.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo je čistý stochastický krok?
Aktualizácia gradientom jedného náhodného príkladu.
Kedy je gradient nezaujatý?
Pri správnom náhodnom výbere a zodpovedajúcom vážení vzoriek.
Je vždy škodlivý?
Nie; môže pomôcť opustiť niektoré oblasti, ale znižuje presnosť konvergencie.
Prečo shuffle?
Obmedzuje systematické korelácie po sebe idúcich krokov.
Používa knižničné SGD iba jednu vzorku?
Nie; optimalizátor dostane gradient dávky, ktorú vytvorí tréningová slučka.