Presná definícia
Čo znamená rekurentná neurónová sieť?
Rekurentná neurónová sieť spracúva sekvenciu opakovaným použitím tej istej bunky: skrytý stav v čase t vzniká z aktuálneho vstupu a predchádzajúceho stavu. Tým zavádza poradie a zdieľa parametre naprieč dĺžkou sekvencie. Jednoduchá RNN sa trénuje spätným šírením cez čas, pri dlhých závislostiach však môže trpieť miznúcimi alebo explodujúcimi gradientmi.
Skúsenosť a kontext
Ako sa pojem používa v praxi
RNN je vhodná pre prúdy, kde minulosť ovplyvňuje dnešný odhad, napríklad telemetriu, reč alebo znaky textu. Implementácia musí jasne určiť poradie rozmerov, počiatočný stav, masku výplne a to, či sa stav prenáša medzi dávkami. Pri dlhých sekvenciách sa porovnáva s LSTM, GRU, TCN alebo transformátorom. Diagnostika sleduje normy gradientov a výkon podľa vzdialenosti závislosti, nie iba priemernú metriku.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo uchováva skrytý stav?
Naučený súhrn doteraz spracovanej časti sekvencie.
Menia sa v každom čase?
Nie, tá istá transformačná bunka zdieľa parametre medzi krokmi.
Čo je spätné šírenie cez čas?
Rozbalenie opakovanej bunky cez kroky a výpočet gradientu cez vzniknutý graf.
Vie spracovať rôzne dlhé vstupy?
Áno, ak sa správne maskujú výplňové pozície a riadi stav.
Prečo zabúda vzdialený kontext?
Opakované násobenie Jacobianov môže gradient utlmiť alebo zväčšiť.