Presná definícia
Čo znamená trénovanie založené na populácii?
Trénovanie založené na populácii súbežne učí viac modelov a počas behu strieda exploatáciu a exploráciu: slabší člen preberie váhy aj stav lepšieho člena a následne mierne zmení jeho hyperparametre. Na rozdiel od klasického ladenia teda optimalizuje časový plán hyperparametrov počas jedného populačného procesu. Výsledky členov nie sú nezávislé, pretože checkpointy sa medzi nimi kopírujú.
Skúsenosť a kontext
Ako sa pojem používa v praxi
PBT sa hodí pri dlhých tréningoch, kde sa optimálny learning rate alebo regularizácia mení v čase. Tím určí veľkosť populácie, interval hodnotenia, poradie výberu a mutačné rozsahy a zabezpečí kompatibilitu checkpointov. Asynchrónny režim lepšie využije rozdielne rýchle stroje, ale môže zvýhodniť krátke hodnotenia. Audit loguje rodokmeň každého člena, prevzaté váhy a zmeny hyperparametrov; bez toho sa výsledný schedule nedá vysvetliť ani zopakovať.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo obsahuje?
Viac súbežne trénovaných modelov s rôznymi hyperparametrami.
Čo sa kopíruje?
Váhy a stav tréningu úspešnejšieho člena do slabšieho.
Čo nasleduje?
Perturbácia alebo nové vzorkovanie vybraných hyperparametrov.
Prečo vzniká automaticky?
Hyperparametre sa môžu meniť pri každom populačnom zásahu.
Na čo slúži log?
Ukazuje pôvod checkpointov a presnú trajektóriu zmien.