Presná definícia
Čo znamená učenie časových rozdielov?
Učenie časových rozdielov aktualizuje hodnotu z rozdielu medzi aktuálnym odhadom a jedným alebo viacerými krokmi odmeny plus bootstrapovanou hodnotou ďalšieho stavu. Učí sa priebežne bez čakania na koniec epizódy.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Kritik po každom prechode vytvorí TD cieľ r+γV(s') a sleduje rezíduá, stabilitu aj citlivosť na learning rate. Terminálne stavy nebootstrapuje.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená učenie časových rozdielov?
Učenie časových rozdielov aktualizuje hodnotu z rozdielu medzi aktuálnym odhadom a jedným alebo viacerými krokmi odmeny plus bootstrapovanou hodnotou ďalšieho stavu.
Kedy sa učenie časových rozdielov používa?
Kritik po každom prechode vytvorí TD cieľ r+γV(s') a sleduje rezíduá, stabilitu aj citlivosť na learning rate.
Od čoho treba učenie časových rozdielov odlíšiť?
Monte Carlo learning používa úplný realizovaný návrat; TD learning používa skorší bootstrapovaný cieľ.
Ako sa učenie časových rozdielov kontroluje?
Kontroluje sa discount, terminálna maska, krok učenia, TD chyba, bias bootstrapu, korelácia dát a stabilita.
Aké obmedzenie má učenie časových rozdielov?
Kombinácia aproximácie funkcie, bootstrapu a off-policy dát môže viesť k nestabilite alebo divergencii.