Presná definícia
Čo znamená dopredné šírenie?
Dopredné šírenie je vyhodnotenie výpočtového grafu od vstupov cez vrstvy po výstup a prípadne stratu s aktuálnymi parametrami. Každý uzol použije už vypočítané vstupy a uloží aktivácie potrebné pre spätné šírenie. Pri inferencii sa vykonáva iba dopredná časť, no správanie môže byť iné než pri tréningu pre dropout alebo normalizačné vrstvy.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri diagnostike sa pre jednu malú dávku zaznamenajú tvary, rozsahy a kontrolné súčty aktivácií po každom bloku. Tým sa odhalí nesprávne broadcastovanie, poradie kanálov alebo odlišné predspracovanie medzi tréningom a exportom. Model sa prepne do správneho režimu a výstup sa porovná medzi dvoma runtime s toleranciou. Bez gradientov sa pri inferencii vypne uchovávanie medzivýsledkov, čím sa šetrí pamäť.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Odkiaľ kam prebieha?
Od vstupu k výstupu podľa závislostí grafu.
Menia sa pri doprednom kroku?
Nie, iba sa používajú na výpočet.
Prečo sa pri tréningu ukladajú?
Sú potrebné na výpočet derivácií spätným šírením.
Prečo sa train a eval líšia?
Dropout a niektoré normalizácie majú režimovo závislé správanie.
Potrebuje výpočtový graf gradientov?
Nie, ak sa model iba vyhodnocuje.