Presná definícia
Čo znamená optimalizácia hyperparametrov?
Optimalizácia hyperparametrov hľadá nastavenia, ktoré sa neučia bežným gradientom modelu, ale riadia jeho štruktúru alebo tréning: learning rate, regularizáciu, hĺbku či augmentáciu. Každá konfigurácia sa hodnotí na validačnom cieli a vyhľadávacia metóda prideľuje obmedzený rozpočet ďalším pokusom. Výsledok je optimalizovaný aj voči šumu validácie, preto potrebuje nedotknutý finálny test.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Projekt najprv definuje priestor s vhodnými škálami, cieľovú metriku, rozpočet, seed a pravidlá predčasného ukončenia. Pokusy sa evidujú aj s neúspechmi, verziou dát a hardvérom. Pri viacerých metrikách sa použije obmedzenie alebo Pareto výber namiesto dodatočného prepisovania cieľa. Najlepšia konfigurácia sa znovu natrénuje viacerými seedmi a až potom raz vyhodnotí na teste; inak sa test stáva ďalšou validačnou sadou.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čím sa líši od parametra?
Nenaučí sa bežným krokom optimizeru v rámci jedného tréningu.
Čo obsahuje?
Povolené hodnoty, rozsahy, distribúcie a podmienené voľby.
Kde sa meria?
Na validačných dátach alebo vnútornej krížovej validácii.
Čo zahŕňa?
Počet behov, epoch, čas, výpočtové zdroje aj paralelizmus.
Kedy ho použiť?
Až po uzamknutí postupu a konfigurácie na nezaujatý finálny odhad.