Presná definícia
Čo znamená minidávkový gradientný zostup?
Minidávkový gradientný zostup odhaduje gradient priemerom alebo súčtom strát malej dávky príkladov a vykoná jednu aktualizáciu na dávku. Spája paralelnú efektivitu maticových operácií s častejšími krokmi než plný batch. Veľkosť dávky mení rozptyl gradientu, pamäť, počet aktualizácií za epochu aj optimálnu mieru učenia, preto nie je iba technickým detailom.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V praxi sa zvolí dávka, ktorá dobre využije akcelerátor a zároveň poskytne stabilnú generalizáciu. Pri nedostatku pamäte ju možno simulovať akumuláciou gradientov, ale normalizácia a náhodné vrstvy nemusia mať úplne rovnaké správanie. Tím uvádza, či loss používa priemer alebo súčet, a pri zmene batch size preladí learning rate a scheduler. Posledná kratšia dávka sa spracuje alebo zahodí vedome, najmä pri BatchNorm.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo ovplyvňuje?
Rozptyl gradientu, pamäť, priepustnosť a počet krokov za epochu.
Prečo záleží na mean verzus sum?
Mení mierku gradientu pri zmene počtu príkladov.
Čo je drop_last?
Úmyselné zahodenie neúplnej dávky na konci epochy.
Prečo je dávka efektívna?
Viac príkladov sa spracuje jednou vektorizovanou operáciou.
Je väčšia dávka vždy lepšia?
Nie; znižuje šum a počet krokov, čo môže vyžadovať iné ladenie.