Slovník výrazov AI/Generatívna AI

Generatívna AI

energetický model

Anglický výraz energy-based model

základnéheslo č. 4075 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená energetický model?

Energetický model priraďuje dvojici alebo konfigurácii skalárnu energiu Eθ(x); nižšia energia znamená vyššiu relatívnu kompatibilitu. Pravdepodobnosť je úmerná exp(-Eθ(x)), ale jej normalizačný člen môže byť nevypočítateľný. Učenie preto často potrebuje negatívne vzorky, kontrastívny cieľ alebo aproximáciu gradientu logaritmickej vierohodnosti.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Využíva sa pri detekcii anomálií, štruktúrovaných predikciách, reprezentáciách aj generovaní. Tím môže porovnávať energiu správnych a rušivých príkladov alebo vyhľadávať konfiguráciu s najnižšou energiou. Pre generovanie treba navrhnúť vzorkovač, napríklad Langevinovu dynamiku, a merať jeho premiešanie aj výpočtové náklady.

Overiteľnosť

Odborné zdroje

  1. How to Train Your Energy-Based Modelsarxiv.org
  2. Deep Learning Book - pravdepodobnostné modelovaniedeeplearningbook.org

Praktické odpovede

Často kladené otázky

Ako funguje energetický model?

Sieť neurčuje priamo normalizovanú pravdepodobnosť; naučí povrch energie a inferencia alebo MCMC na ňom hľadá pravdepodobné oblasti.

Kedy má energetický model praktický význam?

Využíva sa pri detekcii anomálií, štruktúrovaných predikciách, reprezentáciách aj generovaní.

S čím si pojem nezamieňať?

Diskriminátor vracia skóre pre konkrétnu rozhodovaciu úlohu, kým energetická formulácia môže definovať neznormalizované rozdelenie nad výstupmi.

Ako sa výsledok kontroluje?

Kontroluje sa poradie energií pre pozitívne a negatívne dáta, kalibrácia anomálií, konvergencia vzorkovača a citlivosť na inicializáciu.

Na čo si dať pozor?

Zlá kvalita negatívnych vzoriek skresľuje učenie; nízka energia nemusí znamenať platný príklad mimo oblasti pokrytej tréningom.