Presná definícia
Čo znamená algoritmus REINFORCE?
REINFORCE je on-policy Monte Carlo algoritmus gradientu politiky, ktorý váži gradient log-pravdepodobnosti vykonanej akcie realizovaným návratom alebo výhodou. Je nezaujatý pri správnom vzorkovaní, ale typicky vysoko variabilný.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V malom simulátore tím zhromaždí celé epizódy aktuálnou politikou, odčíta baseline a normalizuje návraty. Výkon reportuje s intervalom cez viac semien.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená algoritmus REINFORCE?
REINFORCE je on-policy Monte Carlo algoritmus gradientu politiky, ktorý váži gradient log-pravdepodobnosti vykonanej akcie realizovaným návratom alebo výhodou.
Kedy sa algoritmus REINFORCE používa?
V malom simulátore tím zhromaždí celé epizódy aktuálnou politikou, odčíta baseline a normalizuje návraty.
Od čoho treba algoritmus REINFORCE odlíšiť?
Actor-critic bootstrapuje cez kritika; REINFORCE v základnej forme používa úplné Monte Carlo návraty.
Ako sa algoritmus REINFORCE kontroluje?
Kontroluje sa on-policy zber, výpočet return-to-go, baseline bez biasu, discount, batch, entropia a variancia semien.
Aké obmedzenie má algoritmus REINFORCE?
Dlhé epizódy a riedke odmeny spôsobujú veľmi hlučný gradient a nízku dátovú efektívnosť.