Presná definícia
Čo znamená signál odmeny?
Signál odmeny je skalárna spätná väzba, ktorú prostredie poskytuje agentovi po kroku alebo udalosti a ktorou sa v posilňovanom učení operacionalizuje cieľ. Agent nemá maximalizovať iba okamžitú odmenu, ale očakávanú kumulatívnu návratnosť, často diskontovanú. Signál je špecifikácia správania, nie opis správnej akcie: nevhodne navrhnutá odmena môže podporiť skratky, zneužitie metriky alebo bezpečne neželané konanie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V robotike môže agent dostať malú zápornú odmenu za čas, kladnú za bezpečné dokončenie a veľkú zápornú za kolíziu. Tvarovanie odmeny zrýchľuje učenie, ale každý člen treba preveriť, či nemení požadované optimum alebo nevytvára zneužiteľnú skratku. Sleduje sa oddelene tréningová návratnosť, úspešnosť úlohy, bezpečnostné porušenia a správanie mimo tréningu. Simulácia sa stresuje neobvyklými stavmi a politikou, ktorá maximalizuje odmenu patologicky. Kritické limity sa implementujú ako obmedzenia a ochranné vrstvy, nie iba ako záporné body, ktoré agent môže „vykúpiť“ iným ziskom.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Aký je rozdiel?
Odmena je číslo v jednom kroku; návratnosť je súčet budúcich odmien, prípadne diskontovaný.
Prečo je oneskorená odmena problém?
Systém musí určiť, ktoré skoršie akcie prispeli k výsledku; ide o problém priradenia zásluhy.
Čo je tvarovanie odmeny?
Pridanie pomocných signálov, ktoré vedú učenie. Musí sa overiť, či agent nezačne plniť pomocný cieľ namiesto hlavného.
Je záporná odmena tvrdý zákaz?
Nie. Agent ju môže prijať, ak získa viac inde. Bezpečnostný zákaz má byť presadený obmedzením alebo kontrolou akcie.
Čo je reward hacking?
Politika nájde nepredvídaný spôsob, ako zvýšiť meranú odmenu bez zamýšľaného výsledku; odhaľujú ho protikladné scenáre a nezávislé metriky.