Slovník výrazov AI/Optimalizácia a trénovanie

Optimalizácia a trénovanie

náhodné vyhľadávanie

Anglický výraz random search

pokročiléheslo č. 3865 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená náhodné vyhľadávanie?

Náhodné vyhľadávanie vzorkuje konfigurácie z určených distribúcií namiesto skúšania kartézskej mriežky. Pri pevnom počte behov preskúma viac odlišných hodnôt každej dimenzie a je účinné, keď výkon ovplyvňuje iba niekoľko z mnohých hyperparametrov. Úspech závisí od hraníc a distribúcií; „náhodné“ neznamená bez odborného návrhu priestoru.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím zadá log-uniform rozdelenie pre parametre meniace sa v rádoch, rozumné kategórie a pevný rozpočet. Seed umožní zopakovať vzorky, ale robustnosť sa posudzuje novým behom alebo viacerými seedmi modelu. Neúspešné konfigurácie zostávajú v zázname, aby sa neprehliadla nestabilná oblasť. Random search tvorí silný baseline pre bayesovské či evolučné metódy, najmä ak sú jednotlivé tréningy hlučné.

Overiteľnosť

Odborné zdroje

  1. Bergstra & Bengio · Random Searchjmlr.org
  2. scikit-learn · RandomizedSearchCVscikit-learn.org

Praktické odpovede

Často kladené otázky

Odkiaľ vzniknú konfigurácie?

Z vopred určených rozdelení pre každý hyperparameter.

Prečo poráža hustú mriežku?

Nestráca všetky pokusy na rovnakých hodnotách nepodstatnej dimenzie.

Kedy sa hodí?

Keď sú 1e-5 a 1e-4 podobne významné ako 1e-3 a 1e-2.

Čo zabezpečí?

Reprodukovateľnosť zoznamu vzorkovaných konfigurácií.

Čo ak je priestor zle zadaný?

Väčšina rozpočtu padne mimo užitočných oblastí bez ohľadu na metódu.