Presná definícia
Čo znamená Bellmanova rovnica?
Bellmanova rovnica rozkladá hodnotu stavu alebo akcie na očakávanú okamžitú odmenu a diskontovanú hodnotu nasledujúcej situácie pri danej politike. Je pevným bodom, ktorý prepája lokálne prechody s dlhodobou návratnosťou.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri kontrole kritika tím vypočíta Bellmanove ciele z nezávislých prechodov a analyzuje rezíduá podľa stavu, namiesto sledovania iba priemernej chyby.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená Bellmanova rovnica?
Bellmanova rovnica rozkladá hodnotu stavu alebo akcie na očakávanú okamžitú odmenu a diskontovanú hodnotu nasledujúcej situácie pri danej politike.
Kedy sa Bellmanova rovnica používa?
Pri kontrole kritika tím vypočíta Bellmanove ciele z nezávislých prechodov a analyzuje rezíduá podľa stavu, namiesto sledovania iba priemernej chyby.
Od čoho treba Bellmanova rovnica odlíšiť?
Bellman expectation equation hodnotí pevnú politiku; Bellman optimality equation obsahuje optimalizáciu nad akciami.
Ako sa Bellmanova rovnica kontroluje?
Overuje sa prechod, reward, gamma, terminálne masky, očakávanie pod politikou a Bellmanovo rezíduum.
Aké obmedzenie má Bellmanova rovnica?
Malé rezíduum na tréningových dátach nezaručuje správne hodnoty mimo pokrytej distribúcie stavov.