Presná definícia
Čo znamená minimalizácia empirického rizika?
Minimalizácia empirického rizika (ERM) vyberá z priestoru hypotéz model s najnižšou priemernou stratou na pozorovanej tréningovej vzorke. Empirické riziko je vzorkový odhad neznámeho očakávaného rizika; ich blízkosť vyžaduje predpoklady o dátach a zložitosti triedy. ERM je princíp, nie jeden algoritmus. V príliš bohatej triede môže nájsť hypotézu s nulovou tréningovou chybou a slabým zovšeobecnením.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri klasifikácii sa pre každý kandidátny model vypočíta priemerná krížová entropia na tréningových príkladoch a optimalizácia hľadá minimum. Celé učenie príznakov aj váh musí zostať v tréningovej časti; validačné dáta slúžia na výber triedy a nastavení. Tím sleduje rozdiel tréningového a validačného rizika a porovnáva regularizovanú alternatívu. Pri nevyvážených následkoch sa strata váži podľa cieľa, no váhy sa nesmú odhadovať z testu. Lokálne minimum, aproximácia optimalizátora a konečná vzorka znamenajú, že implementácia nemusí dosiahnuť ideálny ERM.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Prečo sa riziko nazýva empirické?
Počíta sa z konečnej pozorovanej vzorky, nie z celého neznámeho populačného rozdelenia.
Je ERM gradientný zostup?
Nie. ERM určuje cieľ výberu; gradientný zostup je jeden spôsob jeho približnej optimalizácie.
Prečo ERM môže preučiť?
Bohatý priestor dokáže znížiť tréningovú stratu zachytením šumu, ktorý sa v nových dátach neopakuje.
Môže empirické riziko vážiť príklady?
Áno, ak váhy zodpovedajú cieľovej populácii alebo nákladom a boli určené bez testového úniku.
Kedy sa ERM zovšeobecňuje?
Keď platia podmienky ako reprezentatívna vzorka a kontrolovaná efektívna zložitosť hypotéznej triedy.