Presná definícia
Čo znamená offline posilňované učenie?
Offline posilňované učenie trénuje rozhodovaciu politiku z pevného súboru historických prechodov bez ďalšej interakcie s prostredím. Kľúčovým problémom je nadhodnotenie akcií mimo podpory dát a bezpečné off-policy hodnotenie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím trénuje z verziovaného logu zásahov, mapuje coverage dvojíc stav-akcia a obmedzí kandidátnu politiku blízko behaviorálnej. Nasadenie predchádza simulácia.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená offline posilňované učenie?
Offline posilňované učenie trénuje rozhodovaciu politiku z pevného súboru historických prechodov bez ďalšej interakcie s prostredím.
Kedy sa offline posilňované učenie používa?
Tím trénuje z verziovaného logu zásahov, mapuje coverage dvojíc stav-akcia a obmedzí kandidátnu politiku blízko behaviorálnej.
Od čoho treba offline posilňované učenie odlíšiť?
Off-policy online RL môže zbierať nové dáta; offline RL musí zostať v informačných hraniciach fixného datasetu.
Ako sa offline posilňované učenie kontroluje?
Kontroluje sa behaviorálna politika, coverage, kvalita odmien, OOD akcie, konzervatívnosť, off-policy intervaly a dátové verzie.
Aké obmedzenie má offline posilňované učenie?
Politika môže využiť extrapolačné chyby práve v akciách, pre ktoré log neobsahuje spoľahlivú spätnú väzbu.