Slovník výrazov AI/Posilňované učenie

Posilňované učenie

využívanie

Anglický výraz exploitation

pokročiléheslo č. 12815 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená využívanie?

Využívanie je voľba akcie, ktorá má podľa aktuálnych odhadov najvyššiu očakávanú hodnotu. Maximalizuje krátkodobý výkon zo známych možností, ale samo nezískava údaje potrebné na opravu neistých odhadov.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Po dostatočnom teste systém presunie väčšinu návštevnosti na najlepší variant, pričom malú bezpečnú časť ponechá na monitorovaný prieskum a detekciu zmien.

Overiteľnosť

Odborné zdroje

  1. Sutton & Barto - Reinforcement Learning: An Introductionandrew.cmu.edu
  2. Auer, Cesa-Bianchi & Fischer - Finite-time Analysis of the Multiarmed Bandit Problemdoi.org

Praktické odpovede

Často kladené otázky

Čo presne znamená využívanie?

Využívanie je voľba akcie, ktorá má podľa aktuálnych odhadov najvyššiu očakávanú hodnotu.

Kedy sa využívanie používa?

Po dostatočnom teste systém presunie väčšinu návštevnosti na najlepší variant, pričom malú bezpečnú časť ponechá na monitorovaný prieskum a detekciu zmien.

Od čoho treba využívanie odlíšiť?

Exploration skúša neisté možnosti kvôli informácii; exploitation používa možnosť, ktorá sa teraz javí najlepšia.

Ako sa využívanie kontroluje?

Kontroluje sa spôsob odhadu maxima, neistota, drift, regret, segmenty a to, či výber nevychádza len z náhodného víťaza.

Aké obmedzenie má využívanie?

Príliš skoré využívanie uzamkne systém na suboptimálnej akcii a spätná väzba potom potvrdzuje vlastný výber.