Presná definícia
Čo znamená L-BFGS?
L-BFGS je kvázi-Newtonova metóda, ktorá približuje pôsobenie inverznej Hessovej matice z obmedzenej histórie dvojíc zmien parametrov a gradientov. Namiesto uloženia hustej matice používa dvoj-slučkovú rekurziu, takže pamäť rastie s počtom parametrov a zvolenou históriou. Krok sa často určuje line searchom a môže vyžadovať viac vyhodnotení loss.
Skúsenosť a kontext
Ako sa pojem používa v praxi
L-BFGS sa hodí na menšie plno-dávkové problémy, jemné doladenie alebo fyzikálne neurónové siete, kde je strata relatívne hladká a deterministická. Tréningová closure musí znova vynulovať gradienty, prepočítať loss, zavolať backward a loss vrátiť. Náhodný dropout, meniace sa dávky či augmentácia medzi volaniami narúšajú line search. Tím sleduje počet vyhodnotení funkcie, pamäť history_size a nie iba počet optimizer.step.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo L-BFGS odhaduje?
Pôsobenie inverznej Hessovej matice z posledných zmien x a gradientov.
Čo znamená limited-memory?
Ukladá iba obmedzený počet vektorových dvojíc, nie celú maticu.
Prečo ju optimalizátor potrebuje?
Počas jedného kroku môže loss a gradient prepočítať viackrát.
Prečo je problém?
Line search predpokladá porovnateľnú funkciu pri opakovaných vyhodnoteniach.
Čo počítať ako náklad?
Reálne forward/backward vyhodnotenia, nie iba vonkajšie kroky.