Presná definícia
Čo znamená priestor akcií?
Priestor akcií je matematicky určená množina príkazov, ktoré môže agent odovzdať prostrediu; v konkrétnom stave môže byť prípustná iba jej podmnožina. Akcie môžu byť diskrétne, spojité, viacrozmerné alebo štruktúrované a prostredníctvom prechodovej dynamiky ovplyvňujú nasledujúci stav. Priestor opisuje formát a hranice voľby, nie politiku, ktorá z neho vyberá.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V hre môže byť priestor {hore, dole, vľavo, vpravo}; pri robotickom ramene vektor krútiacich momentov s fyzikálnymi hranicami; pri jazykovom agentovi volanie nástroja so schémou parametrov. Návrh má odstrániť zbytočné voľby, normalizovať spojité rozsahy a presne vymedziť bezpečné hodnoty. Neplatné akcie sa maskujú podľa stavu alebo odmietnu validátorom ešte pred vykonaním. Hrubá diskretizácia zjednoduší učenie, ale môže znemožniť presnú kontrolu; priveľký priestor zhorší prieskum a zvýši počet chýb. Testujú sa hranice, jednotky a núdzové akcie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Je priestor akcií to isté ako politika?
Nie. Priestor určuje, čo sa dá zvoliť; politika určuje, ktorú akciu agent zvolí pre daný stav alebo pozorovanie.
Musia byť všetky akcie dostupné vždy?
Nie. Dvere možno otvoriť iba pri nich a platbu vykonať iba pri platnej sume. Prípustnú podmnožinu určuje stav, predpoklad alebo maska.
Čo je spojitý priestor akcií?
Akcia má reálne hodnoty v intervale, napríklad uhol riadenia od -1 do 1. Vyžaduje kontrolu rozsahu, jednotiek a numerickej stability.
Čo má prostredie urobiť s neplatnou akciou?
Bezpečne ju odmietnuť, zaznamenať dôvod a vrátiť jednoznačný stav; tiché orezanie môže skryť chybu politiky a sťažiť audit.
Ako priestor akcií ovplyvňuje učenie?
Väčší alebo zle škálovaný priestor sťažuje prieskum a zvyšuje počet vzoriek. Hierarchické akcie či bezpečné makrá môžu učenie zrýchliť, ale menia možnosti agenta.