Presná definícia
Čo znamená prerezávanie?
Prerezávanie odstraňuje váhy, kanály, hlavy alebo iné časti neurónovej siete podľa kritéria dôležitosti. Vytvára riedkejší alebo menší model, ktorý môže po doladení zachovať kvalitu a znížiť výpočet.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím postupne prerezáva model, medzi krokmi ho doladí a sleduje krivku accuracy versus sparsity. Zrýchlenie overí na runtime, nie iba počtom núl.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená prerezávanie?
Prerezávanie odstraňuje váhy, kanály, hlavy alebo iné časti neurónovej siete podľa kritéria dôležitosti.
Kedy sa prerezávanie používa?
Tím postupne prerezáva model, medzi krokmi ho doladí a sleduje krivku accuracy versus sparsity.
Od čoho treba prerezávanie odlíšiť?
Quantization znižuje presnosť čísel. Pruning znižuje počet aktívnych parametrov alebo štruktúr.
Ako sa prerezávanie kontroluje?
Overuje sa pruning criterion, schedule, globálny alebo layer-wise rozsah, dolaďovanie, sparsity pattern, accuracy a reálna latencia.
Aké obmedzenie má prerezávanie?
Veľa nulových váh nemusí zrýchliť husté jadro a odstránená kapacita môže najviac poškodiť zriedkavé prípady.