Slovník výrazov AI/Posilňované učenie

Posilňované učenie

iterácia hodnoty

Anglický výraz value iteration

základnéheslo č. 12695 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená iterácia hodnoty?

Iterácia hodnoty opakovane aplikuje Bellmanov operátor optimality na odhad hodnoty a po konvergencii z neho vyberie greedy politiku. Spája čiastočné hodnotenie s optimalizáciou v každej aktualizácii.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím rieši diskrétny model smerovania, sleduje maximálnu zmenu hodnoty a po dosiahnutí tolerancie simuluje odvodenú politiku na odlišných mapách.

Overiteľnosť

Odborné zdroje

  1. Sutton & Barto - Reinforcement Learning: An Introductionandrew.cmu.edu
  2. OpenAI - Spinning Up in Deep Reinforcement Learningspinningup.openai.com

Praktické odpovede

Často kladené otázky

Čo presne znamená iterácia hodnoty?

Iterácia hodnoty opakovane aplikuje Bellmanov operátor optimality na odhad hodnoty a po konvergencii z neho vyberie greedy politiku.

Kedy sa iterácia hodnoty používa?

Tím rieši diskrétny model smerovania, sleduje maximálnu zmenu hodnoty a po dosiahnutí tolerancie simuluje odvodenú politiku na odlišných mapách.

Od čoho treba iterácia hodnoty odlíšiť?

Policy iteration vykonáva samostatné hodnotenie a zlepšenie; value iteration aktualizuje priamo optimálny pevný bod.

Ako sa iterácia hodnoty kontroluje?

Overuje sa kontrakcia pri gamma menšom než jedna, synchronizácia aktualizácií, tolerancia, odvodená politika a simulácia.

Aké obmedzenie má iterácia hodnoty?

Malá zmena hodnoty nemusí znamenať bezpečnú politiku, ak sú vstupné prechody alebo odmeny nepresné.