Presná definícia
Čo znamená hyperparameter?
Hyperparameter je nastavenie učiaceho postupu alebo triedy modelov, ktoré sa v bežnom tréningu neurčuje minimalizáciou straty ako parameter modelu. Patrí sem rýchlosť učenia, sila regularizácie, hĺbka stromu či architektúra siete; niektoré hodnoty možno meta-optimalizovať, no vzhľadom na vnútorný tréning zostávajú hyperparametrami. Ich výber spotrebúva validačnú informáciu a môže ju preučiť.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím najprv určí rozsahy z fyziky úlohy a lacný východiskový model, potom spustí reprodukovateľné hľadanie s pevným rozpočtom. Každý pokus používa rovnaký vnútorný validačný protokol; testovacia množina zostáva zamknutá. Logujú sa konfigurácie, seed, metrika, čas aj neúspešné behy. Pri mnohých pokusoch sa finálna konfigurácia znovu overí na viacerých rozdeleniach alebo vo vnorenej krížovej validácii, pretože maximum z hlučných skóre býva optimistické. Rozsah sa nerozširuje podľa testu a produkčné obmedzenia, ako latencia, sú súčasťou výberového cieľa.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako sa líši hyperparameter od parametra modelu?
Hyperparameter riadi učenie; parameter sa zvyčajne odhadne z tréningových dát.
Na čom sa vyberá jeho hodnota?
Na validačných dátach alebo vo vnútornom cykle krížovej validácie.
Prečo ho neladiť na teste?
Test by sa stal súčasťou výberu a prestal by byť nezávislým odhadom.
Čo patrí do rozpočtu ladenia?
Počet behov, výpočtový čas, rozsah hodnôt a pravidlo predčasného ukončenia.
Dá sa preučiť validačná množina?
Áno, opakovaným výberom z mnohých konfigurácií podľa jej skóre.