Presná definícia
Čo znamená výhodová funkcia?
Výhodová funkcia Aπ(s,a)=Qπ(s,a)-Vπ(s) meria, o koľko je konkrétna akcia lepšia alebo horšia než priemerná akcia politiky v tom istom stave. Ako baseline znižuje rozptyl gradientu bez zmeny jeho očakávania.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Aktér sa aktualizuje kladnými a zápornými odhadmi výhody, ktoré tím centruje len v rámci dávky. Kontroluje koreláciu s neskoršou návratnosťou.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená výhodová funkcia?
Výhodová funkcia Aπ(s,a)=Qπ(s,a)-Vπ(s) meria, o koľko je konkrétna akcia lepšia alebo horšia než priemerná akcia politiky v tom istom stave.
Kedy sa výhodová funkcia používa?
Aktér sa aktualizuje kladnými a zápornými odhadmi výhody, ktoré tím centruje len v rámci dávky.
Od čoho treba výhodová funkcia odlíšiť?
Q hodnotí absolútnu očakávanú návratnosť akcie; advantage ju vyjadruje relatívne k hodnote stavu.
Ako sa výhodová funkcia kontroluje?
Overuje sa konzistentnosť Q a V, priemer pod politikou, znamienko, normalizácia, TD rezíduá a bias kritika.
Aké obmedzenie má výhodová funkcia?
Zle odhadnutá baseline prevráti znamienko výhody a môže potlačiť dobré akcie alebo posilniť zlé.