Presná definícia
Čo znamená Jednobitové jazykové modely?
Jednobitové jazykové modely (reprezentované napríklad architektúrou BitNet b1.58) sú špeciálne navrhnuté architektúry Transformerov, ktorých váhy nadobúdajú výhradne tri hodnoty: {-1, 0, 1}. Táto ternárna reprezentácia zodpovedá matematickej hodnote 1.58 bitu na jednu váhu a nahrádza náročné násobenie matíc s plávajúcou rádovou čiarkou (FP16/FP8) jednoduchými operáciami sčítania a odčítania.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Umožňujú extrémne efektívne spúšťanie veľkých jazykových modelov priamo na bežných procesoroch (CPU) a mobilných zariadeniach bez potreby špecializovaných high-end GPU akcelerátorov.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Prečo sa hovorí o 1.58 bitoch, keď sa používajú tri hodnoty?
Z informačného hľadiska platí log2(3) ~ 1.58 bitu. Na uloženie troch stavov {-1, 0, 1} je teoreticky potrebných 1.58 bitu informácie.
Aký je hlavný hardvérový prínos nahradenia násobenia sčítaním?
Násobenie matíc (FP16/INT8) je energeticky aj obvodovo najnáročnejšia operácia. Sčítanie a odčítanie celých čísel spotrebúva zlomok energie a dramaticky zrýchľuje výpočet.
Sú jednobitové modely vytvorené dodatočnou kvantizáciou hotových modelov?
Nie. Jednobitové modely ako BitNet sa trénujú s touto obmedzenou množinou váh od samého začiatku (Train from Scratch).
Udržia si jednobitové modely porovnateľnú presnosť s 16-bitovými modelmi?
Výskum ukazuje, že od veľkosti 3 miliárd parametrov vyššie dosahujú modely BitNet b1.58 porovnateľnú perplexity a presnosť ako štandardné FP16 modely rovnakej veľkosti.
Ako táto technológia mení priepustnosť pamäte (memory bandwidth)?
Zmenšuje veľkosť modelu v pamäti RAM/VRAM viac ako 8-násobne oproti FP16, čo zásadne odstraňuje pamäťové úzke hrdlo pri generovaní tokenov.