Slovník výrazov AI/Optimalizácia a trénovanie

Optimalizácia a trénovanie

mriežkové vyhľadávanie

Anglický výraz grid search

pokročiléheslo č. 3855 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená mriežkové vyhľadávanie?

Mriežkové vyhľadávanie vyhodnotí kartézsky súčin vopred zadaných hodnôt hyperparametrov. Je úplné iba vzhľadom na túto diskrétnu mriežku, nie voči spojitému priestoru. Počet behov rastie násobne s počtom možností v každej dimenzii, takže pri mnohých parametroch míňa rozpočet aj na kombinácie málo dôležitých hodnôt.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Grid search je vhodný pre malý, odborne zúžený priestor a lacný model. Spojité parametre, ako learning rate, sa zadávajú na logaritmickej škále a kategorické voľby sa obmedzia na zmysluplné kombinácie. Tím používa pipeline, aby sa preprocessing učil iba v tréningových foldoch, a nezamieňa paralelné behy s väčším štatistickým dôkazom. Report obsahuje celú mriežku a pravidlo výberu, nielen víťaza.

Overiteľnosť

Odborné zdroje

  1. scikit-learn · GridSearchCVscikit-learn.org
  2. Bergstra & Bengio · Random Searchjmlr.org

Praktické odpovede

Často kladené otázky

Čo sa vyhodnotí?

Každá kombinácia explicitne uvedených hodnôt.

Nájde globálne optimum?

Iba najlepší bod zadanej diskrétnej mriežky.

Prečo je drahé?

Počet kombinácií je súčinom počtov hodnôt vo všetkých dimenziách.

Ako zadávať learning rate?

Typicky geometrickou alebo logaritmickou postupnosťou.

Prečo ju používať?

Zabraňuje, aby škálovanie či výber príznakov videli validačný fold.