Presná definícia
Čo znamená tvarovanie odmeny?
Tvarovanie odmeny pridáva pomocný spätnoväzbový signál, aby urýchlilo učenie pri riedkej alebo oneskorenej odmene. Potenciálové tvarovanie rozdielom γΦ(s')-Φ(s) zachováva optimálne politiky za štandardných predpokladov.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Robot dostane pomocný signál za zmenšenie vzdialenosti, no cieľové splnenie zostane samostatné. Tím overí, že shaping nevytvára výhodnú slučku.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená tvarovanie odmeny?
Tvarovanie odmeny pridáva pomocný spätnoväzbový signál, aby urýchlilo učenie pri riedkej alebo oneskorenej odmene.
Kedy sa tvarovanie odmeny používa?
Robot dostane pomocný signál za zmenšenie vzdialenosti, no cieľové splnenie zostane samostatné.
Od čoho treba tvarovanie odmeny odlíšiť?
Reward design určuje hlavný cieľ; shaping pridáva hustejší učebný signál, ktorý nemá zmeniť požadované optimum.
Ako sa tvarovanie odmeny kontroluje?
Kontroluje sa invariancia politiky, jednotky, discount, terminály, cykly, ablačné učenie bez shapingu a hraničné scenáre.
Aké obmedzenie má tvarovanie odmeny?
Neodborný shaping môže odmeniť lokálnu skratku, nekonečné zbieranie bodov alebo správanie proti skutočnému cieľu.