Presná definícia
Čo znamená Hessova matica?
Hessova matica skalárnej funkcie obsahuje druhé parciálne derivácie podľa dvojíc premenných. Opisuje lokálnu krivosť: kladné a záporné vlastné hodnoty rozlišujú smery konvexného a konkávneho zakrivenia. Pri miliónoch parametrov je explicitná matica nepraktická, preto sa používajú súčiny Hessian-vektor, diagonálne alebo blokové aproximácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri malej sieti sa Hessian použije na diagnostiku sedlových bodov a podmienenia. Vo veľkom modeli sa vypočíta iba Hessian-vektor pre iteratívny odhad extrémnych vlastných hodnôt alebo aproximáciu neistoty. Tím rozlišuje Hessian tréningovej straty od Fisherovej informácie; nie sú všeobecne totožné. Numerické výsledky sa interpretujú v konkrétnej parametrizácii a s regularizáciou.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Aké derivácie obsahuje?
Druhé parciálne derivácie skalárnej funkcie.
Aký má rozmer?
Počet parametrov krát počet parametrov.
Čo znamená záporná vlastná hodnota?
Existuje smer lokálneho záporného zakrivenia.
Prečo sa používa HVP?
Dá informáciu o krivosti bez uloženia celej matice.
Je Hessian to isté ako Fisherova matica?
Nie všeobecne, hoci v špecifických podmienkach súvisia.