Presná definícia
Čo znamená aproximácia nízkej hodnosti?
Aproximácia nízkej hodnosti nahrádza maticu alebo tenzor súčinom menších faktorov s hodnosťou r, ktorá je nižšia než pôvodný rozmer. Komprimuje redundantnú lineárnu štruktúru za cenu aproximačnej chyby.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím rozloží veľkú weight maticu pomocou SVD, zvolí r podľa validačnej chyby a po nahradení dvoch lineárnych vrstiev model doladí.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená aproximácia nízkej hodnosti?
Aproximácia nízkej hodnosti nahrádza maticu alebo tenzor súčinom menších faktorov s hodnosťou r, ktorá je nižšia než pôvodný rozmer.
Kedy sa aproximácia nízkej hodnosti používa?
Tím rozloží veľkú weight maticu pomocou SVD, zvolí r podľa validačnej chyby a po nahradení dvoch lineárnych vrstiev model doladí.
Od čoho treba aproximácia nízkej hodnosti odlíšiť?
Pruning vynuluje prvky alebo štruktúry. Low-rank approximation zachová husté faktory s menším vnútorným rozmerom.
Ako sa aproximácia nízkej hodnosti kontroluje?
Overuje sa zvolená hodnosť, rekonštrukčná chyba, parameter count, FLOPs, dolaďovanie, numerická stabilita a runtime fusion.
Aké obmedzenie má aproximácia nízkej hodnosti?
Nízka chyba váh nezaručuje zachovanie výstupu siete a dve menšie matice nemusia byť rýchlejšie pri malom batchi.