Presná definícia
Čo znamená Jacobiho matica?
Jacobiho matica vektorovej funkcie zhromažďuje všetky parciálne derivácie výstupných zložiek podľa vstupných zložiek. Pre f:ℝⁿ→ℝᵐ má rozmer m×n a lokálne linearizuje, ako malé zmeny vstupu ovplyvnia výstup. V neurónových sieťach sa celá matica zvyčajne nevytvára; autodiff efektívne počíta súčiny Jacobian-vektor alebo vektor-Jacobian.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri analýze citlivosti sa namiesto explicitného Jacobianu vypočíta smerová derivácia pre fyzikálne zmysluplné perturbácie. Pre malý model možno maticu zostaviť a skontrolovať jej tvar, singulárne hodnoty a numerický gradient. Tím uvádza, či derivuje logity, pravdepodobnosti alebo stratu, pretože výsledky sa líšia. Veľké normy sa posudzujú voči škále vstupných jednotiek.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Aký má tvar?
Počet výstupov krát počet vstupov.
Čo opisuje?
Lokálnu citlivosť každého výstupu na každý vstup.
Čím je Jacobian skalárnej funkcie?
Riadkom alebo transpozíciou gradientu podľa konvencie.
Prečo sa netvorí celý?
Pre veľké siete by bol pamäťovo obrovský.
Čo sa používa namiesto neho?
JVP alebo VJP podľa potrebného smeru.