Presná definícia
Čo znamená bayesovská optimalizácia?
Bayesovská optimalizácia je sekvenčný postup pre drahé black-box funkcie: pravdepodobnostný surrogate model odhaduje hodnotu cieľa aj neistotu a akvizičná funkcia vyberá ďalší bod vyvažovaním prieskumu a využitia. Po každom meraní sa surrogate aktualizuje. Metóda optimalizuje počet drahých vyhodnotení, no réžia a kvalita modelu rastú citlivo s dimenziou a šumom.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri ladení hyperparametrov sa ako pozorovanie používa validačná metrika spolu s konfiguráciou a prípadne varianciou medzi seedmi. Tím zvolí surrogate vhodný pre spojité aj kategorické parametre, akvizíciu a úvodné náhodné body. Paralelné návrhy musia zohľadniť ešte nedokončené pokusy. Výsledok sa porovná s random search pri rovnakom rozpočte a finálny kandidát sa znovu natrénuje, pretože optimizer môže využiť šum validácie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo modeluje?
Neznámu závislosť cieľovej hodnoty od konfigurácie aj neistotu odhadu.
Čo robí?
Premieňa predikciu a neistotu na pravidlo výberu ďalšieho bodu.
Prečo skúša neisté oblasti?
Môžu obsahovať lepšie riešenie, ktoré doterajšie dáta neodhalili.
Ako vplýva?
Sťažuje rozlíšenie konfigurácií a môže vyžadovať opakované merania.
S čím porovnávať?
S náhodným vyhľadávaním pri rovnakom počte a cene pokusov.