Presná definícia
Čo znamená prostredie?
Prostredie je vonkajšia časť sveta alebo simulácie, s ktorou agent tvorí uzavretú interakčnú slučku: prostredie vytvára podnety či pozorovania, prijíma agentove akcie a podľa svojej dynamiky mení stav a prípadne odmenu. Zahŕňa fyzické podmienky, softvér, používateľov aj iných agentov. Môže byť plne alebo čiastočne pozorovateľné, deterministické či stochastické a stabilné alebo meniace sa.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri vývoji agenta sa prostredie špecifikuje rozhraním reset/step, pozorovaniami, akciami, prechodovou dynamikou, odmenou, ukončením a vonkajšími udalosťami. V simulácii skladu treba modelovať trenie, poruchy senzorov, ľudí, premávku aj časové limity, inak agent využije nereálne skratky. Scenáre sa delia na tréningové, validačné a bezpečnostné stresové testy. Pred prechodom do reality sa meria rozdiel simulácia-realita, zavádzajú sa limity akcií a núdzové zastavenie. Po nasadení sa sledujú zmeny prostredia, ktoré môžu znehodnotiť politiku.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Je prostredie iba fyzický svet?
Nie. Pre softvérového agenta ním môže byť operačný systém, web, databáza, API, používatelia a ďalší agenti - všetko, čo poskytuje vstupy alebo prijíma akcie.
Čo znamená čiastočne pozorovateľné prostredie?
Agent nevidí úplný skutočný stav; dostáva neúplné alebo hlučné pozorovania a musí udržiavať odhad možných stavov.
Aký je rozdiel medzi deterministickým a stochastickým prostredím?
V deterministickom vedie rovnaký stav a akcia k rovnakému následku; v stochastickom sú následky opísané pravdepodobnosťou.
Prečo nestačí úspech v simulácii?
Simulácia abstrahuje realitu. Ak vynechá trenie, oneskorenie, ľudské správanie alebo poruchy, agent sa môže naučiť politiku, ktorá v skutočnosti zlyhá.
Čo je nestacionárne prostredie?
Také, ktorého pravidlá alebo distribúcie sa v čase menia - napríklad správanie zákazníkov. Vyžaduje detekciu driftu, opätovné overovanie a niekedy adaptáciu.