Presná definícia
Čo znamená dávka?
Dávka je skupina inštancií spracovaná modelom spoločne v jednom výpočtovom kroku. Pri učení z nej vzniká odhad gradientu a následná aktualizácia parametrov; pri inferencii zvyšuje využitie hardvéru a priepustnosť. Veľkosť dávky preto nie je iba technický počet: mení šum optimalizácie, pamäťové nároky, účinnosť vrstiev závislých od štatistík dávky a niekedy aj výsledný model.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri trénovaní klasifikátora sa veľkosť dávky volí meraním času, pamäte a validačného výsledku. Ak sa dávka zväčší z 32 na 512, upraví sa plán rýchlosti učenia a počet optimalizačných krokov sa porovnáva férovo; samotný počet epoch nestačí. Poradie príkladov sa mieša len tam, kde tým nevzniká časový únik, a nevyvážené triedy sa riešia dokumentovaným výberom alebo váhami. Pri online službe sa nastaví horný čas čakania na naplnenie dávky, aby vyššia priepustnosť nezhoršila latenciu. Produkčný monitoring rozlišuje latenciu frontu od času výpočtu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako dávka vplýva na gradient?
Menšia dáva hlučnejší odhad; väčšia stabilnejší, ale drahší krok.
Čo obmedzuje veľkosť dávky?
Najmä pamäť aktivácií a parametrov, tvar vstupov a použitá numerická presnosť.
Je rovnaký počet epoch férové porovnanie?
Nie vždy, pretože počet aktualizácií klesá s rastom dávky.
Prečo dávkovať predikcie?
Súbežný výpočet zvyšuje využitie akcelerátora, no môže pridať čakanie.
Musia sa inštancie vždy premiešať?
Nie pri časových či sekvenčných úlohách, kde by miešanie porušilo protokol.