Slovník výrazov AI/Hardvér a efektívny výpočet

Hardvér a efektívny výpočet

celočíselná kvantizácia

Anglický výraz integer quantization

pokročiléheslo č. 14235 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená celočíselná kvantizácia?

Celočíselná kvantizácia reprezentuje váhy a často aj aktivácie celými číslami s mapovaním x≈scale·(q-zero-point). Umožňuje integer kernels bez plávajúcej čiarky, ak runtime podporuje všetky operátory grafu.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím exportuje full-integer model pre mikrokontrolér, overí integer vstup aj výstup a porovná výsledky na cieľovej doske s float baseline.

Overiteľnosť

Odborné zdroje

  1. TensorFlow - Post-training quantizationtensorflow.org
  2. PyTorch - Quantization documentationdocs.pytorch.org

Praktické odpovede

Často kladené otázky

Čo presne znamená celočíselná kvantizácia?

Celočíselná kvantizácia reprezentuje váhy a často aj aktivácie celými číslami s mapovaním x≈scale·(q-zero-point).

Kedy sa celočíselná kvantizácia používa?

Tím exportuje full-integer model pre mikrokontrolér, overí integer vstup aj výstup a porovná výsledky na cieľovej doske s float baseline.

Od čoho treba celočíselná kvantizácia odlíšiť?

Weight-only quantization ponecháva aktivácie vo float. Integer quantization môže previesť aj aktivácie a akumuláciu podľa schémy.

Ako sa celočíselná kvantizácia kontroluje?

Overuje sa signedness, bit width, scale, zero-point, akumulátor, saturácia, operátorové fallbacky a numerická zhoda.

Aké obmedzenie má celočíselná kvantizácia?

Pretečenie akumulátora alebo float fallback preruší očakávaný výkon a agresívny rozsah poškodí malé signály.