Presná definícia
Čo znamená Formáty kvantizácie modelov?
Formáty kvantizácie modelov reprezentujú štandardy a techniky na zníženie presnosti číselných váh neurónovej siete (napríklad z 16-bitového formátu FP16 na 4-bitový alebo 8-bitový formát INT4/INT8). Kvantizácia výrazne zmenšuje veľkosť modelu v pamäti VRAM/RAM a zrýchľuje vykonávanie výpočtov pri zachovaní väčšiny pôvodnej presnosti.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používajú sa na lokálne spúšťanie veľkých jazykových modelov na spotrebiteľskom hardvéri (notebooky, osobné počítače, mobilné zariadenia) alebo na zníženie prevádzkových nákladov na cloude.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Aký je hlavný rozdiel medzi formátmi GGUF, GPTQ a AWQ?
GGUF je univerzálny formát vyvinutý pre spúšťanie modelov na CPU aj GPU (cez llama.cpp), zatiaľ čo GPTQ a AWQ sú špecializované techniky kvantizácie určené primárne pre vysokovýkonné GPU akcelerátory.
Aký je rozdiel medzi kvantizáciou počas trénovania (QAT) a po trénovaní (PTQ)?
QAT (Quantization-Aware Training) zohľadňuje zníženú presnosť už počas trénovania, zatiaľ čo PTQ (Post-Training Quantization) redukuje presnosť váh až na hotovom natrénovanom modeli.
Koľko pamäte VRAM možno ušetriť prechodom z FP16 na 4-bitovú kvantizáciu?
Prechodom z FP16 na 4-bitovú kvantizáciu sa veľkosť modelu v pamäti zníži približne na štvrtinu (napríklad z 14 GB na približne 4 GB).
Dochádza pri kvantizácii k zhoršeniu kvality výstupov modelu?
Mierny pokles presnosti nastáva, no moderné metódy ako AWQ udržiavajú stratu kvality na zanedbateľnej úrovni aj pri 4-bitovej kvantizácii.
Čo znamená pojem „Perplexity“ v kontexte kvantizácie?
Perplexity je metrika udávajúca mieru neistoty modelu - čím je nižšia, tým je model presnejší. Pri dobrej kvantizácii vzrastie perplexity len minimálne.