Presná definícia
Čo znamená neurónová obyčajná diferenciálna rovnica?
Neurónová obyčajná diferenciálna rovnica definuje zmenu skrytého stavu spojitou dynamikou dh/dt = fθ(h,t) a výstup získava numerickým riešením medzi zadanými časmi. Namiesto pevného počtu reziduálnych vrstiev používa adaptívne alebo pevné kroky ODE riešiča. Gradient možno počítať spätnou diferenciáciou cez riešič alebo adjointnou metódou, pričom obe majú odlišné pamäťové a numerické vlastnosti.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Neural ODE sa používa pri nepravidelne vzorkovaných časových radoch, dynamických systémoch a spojito-hlbokých modeloch. Tím volí riešič, tolerancie a časové body a reportuje počet vyhodnotení funkcie, nie iba počet parametrov. Tesnejšia tolerancia môže zvýšiť presnosť aj cenu; tuhá dynamika môže vyžadovať vhodný solver. Testy porovnávajú doprednú a spätnú rekonštrukciu, stabilitu gradientov a citlivosť na tolerancie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo sa učí?
Parametre vektorového poľa fθ, ktoré určuje časovú deriváciu stavu.
Koľko vrstiev má model?
Výpočet je určený krokmi numerického riešiča, nie pevnou hĺbkou siete.
Na čo vplýva?
Na lokálnu chybu, počet krokov, čas a niekedy aj výsledok optimalizácie.
Prečo sa používa?
Môže znížiť pamäť, no prináša ďalšie numerické riešenie a chybu.
Čo znamená stiff dynamika?
Niektoré časové škály nútia bežný explicitný riešič robiť veľmi malé kroky.