Presná definícia
Čo znamená entropný bonus?
Entropný bonus pridáva k cieľu politiky odmenu za vyššiu entropiu jej rozdelenia akcií, aby sa politika príliš skoro nestala deterministickou. Koeficient určuje silu podporovaného prieskumu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri PPO tím sleduje entropiu podľa stavov a bonus postupne upravuje. Overí, že náhodnosť neklesá skôr, než sa naučia užitočné alternatívy.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená entropný bonus?
Entropný bonus pridáva k cieľu politiky odmenu za vyššiu entropiu jej rozdelenia akcií, aby sa politika príliš skoro nestala deterministickou.
Kedy sa entropný bonus používa?
Pri PPO tím sleduje entropiu podľa stavov a bonus postupne upravuje.
Od čoho treba entropný bonus odlíšiť?
Epsilon-greedy náhodne prepína akcie zvonka; entropy bonus priamo tvaruje celé rozdelenie naučenej politiky.
Ako sa entropný bonus kontroluje?
Kontroluje sa výpočet entropie pre dané rozdelenie, znamienko, koeficient, schedule, masky akcií a výkon bez bonusu.
Aké obmedzenie má entropný bonus?
Príliš silný bonus udrží nežiaduce náhodné správanie, príliš slabý dovolí predčasný kolaps politiky.