Slovník výrazov AI/Generatívna AI

Generatívna AI

významnostné vzorkovanie

Anglický výraz importance sampling

pokročiléheslo č. 4255 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená významnostné vzorkovanie?

Významnostné vzorkovanie odhaduje očakávania pod cieľovým rozdelením p pomocou vzoriek z návrhu q a váh w(x)=p(x)/q(x). Je korektné iba tam, kde q pokrýva podporu p. Pri samonormalizovanom variante sa váhy delia ich súčtom, čo umožní pracovať s neznámou normalizačnou konštantou za cenu malého konečnovzorkového skreslenia.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Používa sa na prevažovanie simulácií, približný bayesovský výpočet a odhad zriedkavých udalostí. V praxi sa reportuje efektívna veľkosť vzorky, rozdelenie log-váh a citlivosť výsledku na návrhovú distribúciu. Niekoľko extrémnych váh je signál, že odhad nestojí na dostatočnom pokrytí.

Overiteľnosť

Odborné zdroje

  1. Stan/loo - standard importance samplingmc-stan.org
  2. Deep Learning Book - pravdepodobnostné modelovaniedeeplearningbook.org

Praktické odpovede

Často kladené otázky

Ako funguje významnostné vzorkovanie?

Vzorky z q sa nezahadzujú; každá prispieva k odhadu podľa toho, aká je relatívne pravdepodobná pod p oproti q.

Kedy má významnostné vzorkovanie praktický význam?

Používa sa na prevažovanie simulácií, približný bayesovský výpočet a odhad zriedkavých udalostí.

S čím si pojem nezamieňať?

Na rozdiel od MCMC môžu byť návrhy nezávislé, ale zlý q vytvára degenerované váhy namiesto pomaly sa miešajúceho reťazca.

Ako sa výsledok kontroluje?

Sleduje sa efektívna veľkosť vzorky, maximálna normalizovaná váha, variancia odhadu a stabilita pri opakovaných návrhoch.

Na čo si dať pozor?

Ak q nepokrýva chvost alebo mód p, odhad môže vyzerať stabilne a pritom byť chybný; extrémne váhy dramaticky zvyšujú varianciu.