Slovník výrazov AI/Posilňované učenie

Posilňované učenie

Markovov rozhodovací proces

Anglický výraz Markov decision process

základnéheslo č. 12535 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená Markovov rozhodovací proces?

Markovov rozhodovací proces je model sekvenčného rozhodovania daný stavmi, akciami, prechodovými pravdepodobnosťami, odmenami a diskontom. Pri Markovovej vlastnosti závisí ďalší stav po akcii od aktuálneho stavu, nie celej histórie.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím opíše riadenie zásob cez stav skladu, objednávku, neistý dopyt a nákladovú odmenu. Pred učením preverí, či stav obsahuje sezónu a rozpracované dodávky.

Overiteľnosť

Odborné zdroje

  1. Sutton & Barto - Reinforcement Learning: An Introductionandrew.cmu.edu
  2. OpenAI - Spinning Up in Deep Reinforcement Learningspinningup.openai.com

Praktické odpovede

Často kladené otázky

Čo presne znamená Markovov rozhodovací proces?

Markovov rozhodovací proces je model sekvenčného rozhodovania daný stavmi, akciami, prechodovými pravdepodobnosťami, odmenami a diskontom.

Kedy sa Markovov rozhodovací proces používa?

Tím opíše riadenie zásob cez stav skladu, objednávku, neistý dopyt a nákladovú odmenu.

Od čoho treba Markovov rozhodovací proces odlíšiť?

Markovov reťazec nemá rozhodujúce akcie; MDP pridáva akcie, odmeny a cieľ optimalizácie politiky.

Ako sa Markovov rozhodovací proces kontroluje?

Kontroluje sa úplnosť stavu, prechodový model, odmena, diskont, terminálne podmienky a zhoda simulácie s prevádzkou.

Aké obmedzenie má Markovov rozhodovací proces?

Ak stav nie je Markovovský alebo odmena nezodpovedá cieľu, optimálna politika rieši nesprávny problém.