Slovník výrazov AI/Posilňované učenie

Posilňované učenie

odmena

Anglický výraz reward

základnéheslo č. 12575 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená odmena?

Odmena je skalárny signál, ktorý prostredie priradí prechodu alebo situácii a ktorého dlhodobý súčet sa agent učí maximalizovať. Je špecifikáciou optimalizačného cieľa, nie nevyhnutne úplným opisom žiaduceho správania.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri plánovaní trás odmena kombinuje doručenie, čas a tvrdé bezpečnostné obmedzenia. Tím testuje hraničné scenáre, či agent nezískava body obchádzaním zámeru.

Overiteľnosť

Odborné zdroje

  1. Sutton & Barto - Reinforcement Learning: An Introductionandrew.cmu.edu
  2. Ng, Harada & Russell - Policy Invariance Under Reward Transformationsai.stanford.edu

Praktické odpovede

Často kladené otázky

Čo presne znamená odmena?

Odmena je skalárny signál, ktorý prostredie priradí prechodu alebo situácii a ktorého dlhodobý súčet sa agent učí maximalizovať.

Kedy sa odmena používa?

Pri plánovaní trás odmena kombinuje doručenie, čas a tvrdé bezpečnostné obmedzenia.

Od čoho treba odmena odlíšiť?

Loss sa minimalizuje pri aktualizácii modelu; reward hodnotí dôsledok správania v prostredí.

Ako sa odmena kontroluje?

Kontroluje sa znamienko, mierka, časovanie, discount, konflikty zložiek, reward hacking a súlad s ľudským cieľom.

Aké obmedzenie má odmena?

Neúplná odmena môže viesť k špecifikačnému gaming-u: agent optimalizuje číslo a poškodí skutočný cieľ.