Presná definícia
Čo znamená vyhľadávanie neurónových architektúr?
Vyhľadávanie neurónových architektúr automatizuje výber štruktúry siete v definovanom priestore pomocou stratégie vyhľadávania a hodnotenia kandidátov. Priestor môže meniť operácie, prepojenia, hĺbku či šírku; stratégia môže byť evolučná, bayesovská, posilňovaná alebo diferencovateľná. Výsledok je podmienený proxy tréningom a rozpočtom, preto NAS nie je nezávislé „objavenie“ optimálnej siete.
Skúsenosť a kontext
Ako sa pojem používa v praxi
NAS sa oplatí, keď sa rovnaký typ modelu nasadzuje vo veľkom alebo existuje presný cieľ latencie, pamäte a kvality. Projekt najprv uzamkne dátové rozdelenie, metriky a povolené operácie, potom eviduje výpočtovú cenu všetkých kandidátov. Benchmark s tabuľkovými výsledkami pomáha porovnať stratégie bez opakovaného tréningu. Víťazná architektúra sa napokon trénuje od nuly a overuje na nedotknutom teste aj cieľovom hardvéri.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo obsahuje?
Povolené operácie, spojenia a obmedzenia, z ktorých vznikajú kandidáti.
Čo robí?
Rozhoduje, ktorého kandidáta vyhodnotiť na základe doterajších výsledkov.
Prečo sa používa?
Plný tréning každého kandidáta by bol príliš drahý.
Čo môže skresliť víťaza?
Krátky tréning, zdieľané váhy alebo metrika na inom hardvéri.
Čo reportovať?
Celý rozpočet hľadania, počet behov, priestor, seedy a finálny retraining.