Presná definícia
Čo znamená dlhá krátkodobá pamäť?
Dlhá krátkodobá pamäť je rekurentná bunka s osobitným bunkovým stavom a bránami zabúdania, vstupu a výstupu. Brány riadia, ktorá informácia sa uchová, zapíše alebo sprístupní skrytému stavu; aditívna cesta bunkového stavu uľahčuje prenos gradientu cez viac krokov než pri jednoduchej RNN. LSTM však negarantuje neobmedzenú pamäť a zostáva sekvenčným výpočtom.
Skúsenosť a kontext
Ako sa pojem používa v praxi
LSTM sa nasadzuje pri predikcii časových radov, rozpoznávaní reči či sekvenčnom označovaní, najmä keď je dôležitý kontext medzi vzdialenejšími krokmi. Tím nastaví počet vrstiev a veľkosť stavu, maskuje výplň, prípadne oreže gradient a porovná výsledok s GRU. Pri stavovom online režime sa musí presne určiť, kedy sa stav nulujúci medzi entitami resetuje; inak môže informácia z jedného používateľa alebo zariadenia pretiecť do ďalšieho.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ktoré riadiace časti obsahuje?
Vstupnú, zabúdaciu a výstupnú bránu plus kandidáta bunkového stavu.
Aký je rozdiel medzi c a h?
c je dlhšia pamäťová cesta, h je exponovaný skrytý výstup bunky.
Prečo pomáha pri dlhých väzbách?
Bunkový stav má aditívne aktualizácie, ktoré môžu zmierniť miznutie gradientu.
Kedy vynulovať stav?
Na hranici nezávislej sekvencie alebo podľa presne definovanej udalosti v prúde.
LSTM alebo GRU?
LSTM má viac brán a parametrov; rozhoduje validačný výkon, latencia a stabilita.