Presná definícia
Čo znamená prehrávanie skúseností?
Prehrávanie skúseností opakovane vzorkuje uložené prechody na učenie, čím znižuje časovú koreláciu minibatchov a zvyšuje využitie dát. Mení však tréningovú distribúciu oproti aktuálnej politike.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Robot ukladá prechody do obmedzeného buffera a trénuje z náhodných dávok až po warm-up. Tím sleduje vek dát, pokrytie stavov a zmeny politiky.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená prehrávanie skúseností?
Prehrávanie skúseností opakovane vzorkuje uložené prechody na učenie, čím znižuje časovú koreláciu minibatchov a zvyšuje využitie dát.
Kedy sa prehrávanie skúseností používa?
Robot ukladá prechody do obmedzeného buffera a trénuje z náhodných dávok až po warm-up.
Od čoho treba prehrávanie skúseností odlíšiť?
Online aktualizácia použije prechod raz v poradí; experience replay ho môže použiť opakovane a premiešať s inými.
Ako sa prehrávanie skúseností kontroluje?
Overuje sa kapacita, warm-up, pomer update-to-data, sampling, terminálne polia, zastaranosť a deduplikácia.
Aké obmedzenie má prehrávanie skúseností?
Staré dáta môžu byť mimo distribúcie novej politiky a opakované učenie zosilní chyby z úzkeho buffera.