Slovník výrazov AI/Posilňované učenie

Posilňované učenie

viacramenný bandita

Anglický výraz multi-armed bandit

pokročiléheslo č. 12855 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená viacramenný bandita?

Viacramenný bandita je sekvenčný problém voľby medzi akciami s neznámymi rozdeleniami okamžitej odmeny, bez stavových prechodov. Cieľom je minimalizovať kumulatívny regret pri súčasnom učení kvality ramien.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Web vyberá z niekoľkých variantov tlačidla, no pred experimentom overí stabilitu populácie a okamžitosť odmeny. Výsledky hodnotí proti randomizovanej baseline.

Overiteľnosť

Odborné zdroje

  1. Sutton & Barto - Reinforcement Learning: An Introductionandrew.cmu.edu
  2. Auer, Cesa-Bianchi & Fischer - Finite-time Analysis of the Multiarmed Bandit Problemdoi.org

Praktické odpovede

Často kladené otázky

Čo presne znamená viacramenný bandita?

Viacramenný bandita je sekvenčný problém voľby medzi akciami s neznámymi rozdeleniami okamžitej odmeny, bez stavových prechodov.

Kedy sa viacramenný bandita používa?

Web vyberá z niekoľkých variantov tlačidla, no pred experimentom overí stabilitu populácie a okamžitosť odmeny.

Od čoho treba viacramenný bandita odlíšiť?

MDP modeluje, ako akcia mení budúci stav; bandit rieši iba kontextovo rovnakú okamžitú voľbu.

Ako sa viacramenný bandita kontroluje?

Kontroluje sa definícia ramien, odmena, horizont, randomizácia, oneskorenie, cenzorovanie, ne-stacionarita a regret.

Aké obmedzenie má viacramenný bandita?

Ak akcia ovplyvňuje budúce správanie alebo používateľov, bezstavový bandit môže optimalizovať krátkozraký cieľ.