Presná definícia
Čo znamená reťazové pravidlo?
Reťazové pravidlo určuje deriváciu zloženej funkcie: lokálne derivácie jednotlivých operácií sa násobia a sčítavajú podľa ciest výpočtového grafu. V skalárnom prípade d(f∘g)/dx = f′(g(x))g′(x); vo vektorovom prípade sa skladajú Jacobiany v správnom poradí. Backprop je organizovaná aplikácia tohto pravidla so zdieľaním medzivýpočtov.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri ručnej kontrole dvojvrstvovej siete sa najprv derivuje strata podľa výstupu, potom aktivácia a lineárna transformácia. Vetvy, ktoré sa znovu spoja, musia svoje gradientové príspevky sčítať; zdieľaný parameter dostane príspevok zo všetkých použití. Tím overí rozmery Jacobianov a výsledok porovná s autogradom. Tento malý test často odhalí prehodenú transpozíciu alebo zabudnutú vetvu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Na čo sa používa?
Na deriváciu funkcie zloženej z viacerých operácií.
Záleží pri maticiach na poradí?
Áno, násobenie Jacobianov nie je komutatívne.
Čo sa stane pri spojení ciest?
Gradientové príspevky sa sčítajú.
Je reťazové pravidlo celý backprop?
Je matematickým základom; backprop pridáva efektívnu organizáciu výpočtu.
Čo odhalí ručný príklad?
Nesprávne rozmery, transpozície a chýbajúce príspevky.