Slovník výrazov AI/Posilňované učenie

Posilňované učenie

kompromis prieskum-využívanie

Anglický výraz exploration-exploitation tradeoff

pokročiléheslo č. 12825 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená kompromis prieskum-využívanie?

Kompromis prieskum-využívanie je rozhodovanie medzi získaním informácie o neistých akciách a použitím akcie s najvyššou známou hodnotou. Optimálna rovnováha závisí od horizontu, neistoty, nákladov a možnosti bezpečného skúšania.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri krátkej kampani tím znižuje prieskum skôr než pri dlhodobej službe. Politiku kalibruje simulovaným kumulatívnym regretom a tvrdými limitmi expozície.

Overiteľnosť

Odborné zdroje

  1. Sutton & Barto - Reinforcement Learning: An Introductionandrew.cmu.edu
  2. Auer, Cesa-Bianchi & Fischer - Finite-time Analysis of the Multiarmed Bandit Problemdoi.org

Praktické odpovede

Často kladené otázky

Čo presne znamená kompromis prieskum-využívanie?

Kompromis prieskum-využívanie je rozhodovanie medzi získaním informácie o neistých akciách a použitím akcie s najvyššou známou hodnotou.

Kedy sa kompromis prieskum-využívanie používa?

Pri krátkej kampani tím znižuje prieskum skôr než pri dlhodobej službe.

Od čoho treba kompromis prieskum-využívanie odlíšiť?

Prieskum a využívanie nie sú dva modely; tradeoff je pravidlo, koľko budúcej informácie stojí za okamžitý náklad.

Ako sa kompromis prieskum-využívanie kontroluje?

Overuje sa horizont, regret, prior, oneskorená odozva, ne-stacionarita, náklady experimentu a bezpečnostné obmedzenia.

Aké obmedzenie má kompromis prieskum-využívanie?

Jedna pevná miera prieskumu nezohľadní zmenu neistoty ani rozdielne riziká akcií a skupín.