Slovník výrazov AI/Posilňované učenie

Posilňované učenie

prieskum

Anglický výraz exploration

pokročiléheslo č. 12805 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená prieskum?

Prieskum je výber akcií s cieľom získať informáciu o ich odmenách alebo prechodoch, aj keď momentálne nevyzerajú najlepšie. Je potrebný na zníženie neistoty, no v reálnych systémoch musí rešpektovať bezpečné hranice.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Odporúčací systém skúša nové varianty len v schválenom priestore, s malou expozíciou a zastavovacími pravidlami. Zisk informácie porovnáva s nákladom.

Overiteľnosť

Odborné zdroje

  1. Sutton & Barto - Reinforcement Learning: An Introductionandrew.cmu.edu
  2. Auer, Cesa-Bianchi & Fischer - Finite-time Analysis of the Multiarmed Bandit Problemdoi.org

Praktické odpovede

Často kladené otázky

Čo presne znamená prieskum?

Prieskum je výber akcií s cieľom získať informáciu o ich odmenách alebo prechodoch, aj keď momentálne nevyzerajú najlepšie.

Kedy sa prieskum používa?

Odporúčací systém skúša nové varianty len v schválenom priestore, s malou expozíciou a zastavovacími pravidlami.

Od čoho treba prieskum odlíšiť?

Exploitation využíva aktuálne najlepšiu znalosť; exploration cielene zbiera poznanie pre lepšie budúce rozhodnutia.

Ako sa prieskum kontroluje?

Overuje sa miera pokrytia akcií, regret, bezpečnostné obmedzenia, segmentová expozícia, stopping rule a spätná väzba.

Aké obmedzenie má prieskum?

Nekontrolovaný prieskum môže používateľom alebo zariadeniu spôsobiť škodu a zriedkavé akcie nemusia mať dosť dát.