Presná definícia
Čo znamená akčná hodnotová funkcia?
Akčná hodnotová funkcia Qπ(s,a) je očakávaná návratnosť po vykonaní akcie a v stave s a následnom pokračovaní podľa politiky π. Umožňuje porovnať dlhodobé dôsledky dostupných akcií.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Agent zoradí povolené zásahy podľa Q, no pred nasadením ich porovná s realizovanými návratnosťami a intervalmi neistoty pre jednotlivé segmenty stavov.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená akčná hodnotová funkcia?
Akčná hodnotová funkcia Qπ(s,a) je očakávaná návratnosť po vykonaní akcie a v stave s a následnom pokračovaní podľa politiky π.
Kedy sa akčná hodnotová funkcia používa?
Agent zoradí povolené zásahy podľa Q, no pred nasadením ich porovná s realizovanými návratnosťami a intervalmi neistoty pre jednotlivé segmenty stavov.
Od čoho treba akčná hodnotová funkcia odlíšiť?
State-value hodnotí stav pod zmesou akcií politiky; action-value hodnotí konkrétnu prvú akciu.
Ako sa akčná hodnotová funkcia kontroluje?
Overuje sa presná politika, coverage dvojíc stav-akcia, Bellmanova chyba, off-policy bias a zhoda s Monte Carlo návratmi.
Aké obmedzenie má akčná hodnotová funkcia?
Q môže byť nadhodnotená pri zriedkavých akciách a greedy výber túto aproximačnú chybu zosilní.