Presná definícia
Čo znamená kvantizácia so zmiešanou bitovou šírkou?
Kvantizácia so zmiešanou bitovou šírkou priraďuje rôznym vrstvám, kanálom alebo tenzorom odlišný počet bitov podľa citlivosti a hardvérového nákladu. Hľadá lepší kompromis medzi kvalitou, pamäťou a rýchlosťou než jednotná presnosť.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím ponechá citlivé vstupné a výstupné vrstvy v 8 bitoch a robustné bloky zníži na 4 bity. Každú konfiguráciu meria na cieľovom runtime.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená kvantizácia so zmiešanou bitovou šírkou?
Kvantizácia so zmiešanou bitovou šírkou priraďuje rôznym vrstvám, kanálom alebo tenzorom odlišný počet bitov podľa citlivosti a hardvérového nákladu.
Kedy sa kvantizácia so zmiešanou bitovou šírkou používa?
Tím ponechá citlivé vstupné a výstupné vrstvy v 8 bitoch a robustné bloky zníži na 4 bity.
Od čoho treba kvantizácia so zmiešanou bitovou šírkou odlíšiť?
Uniform quantization používa jednu bitovú šírku pre veľkú časť modelu. Mixed-bit quantization ju volí selektívne.
Ako sa kvantizácia so zmiešanou bitovou šírkou kontroluje?
Kontroluje sa citlivosť vrstiev, search budget, podporované mixed-precision kernels, konverzie medzi formátmi, accuracy a latencia.
Aké obmedzenie má kvantizácia so zmiešanou bitovou šírkou?
Časté konverzie môžu zmazať úsporu a optimálna bitová mapa pre jeden čip nemusí byť optimálna pre iný.