Presná definícia
Čo znamená Špekulatívne dekódovanie?
Špekulatívne dekódovanie je technika zrýchlenia inferencie veľkých jazykových modelov, pri ktorom menší a výpočtovo nenáročný model (Draft Model) navrhne sekvenciu viacerých nasledujúcich tokenov a väčší cieľový model (Target Model) ich v jednom paralelnom výpočtovom kroku overí a schváli.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Nasadzuje sa v produkčných prostrediach s vysokou návštevnosťou na výrazné zníženie latencie generovania odpovedí a zvýšenie priepustnosti serverov bez akejkoľvek straty presnosti alebo zmeny kvality výstupného textu.
Overiteľnosť
Odborné zdroje
- Leviathan, Y., Kalman, M., & Matias, Y. (Google Research, 2023). Fast Inference from Large Language Models via Speculative Decoding. ICML 2023 / arXiv:2211.17192.arxiv.org
- Chen, C., et al. (DeepMind, 2023). Accelerating Large Language Model Decoding with Speculative Sampling. arXiv:2302.01318.arxiv.org
Praktické odpovede
Často kladené otázky
Mení špekulatívne dekódovanie matematickú presnosť alebo kvalitu výstupu?
Nie. Vďaka špeciálnemu pravidlu akceptácie (speculative sampling) je výstupný pravdepodobnostný priestor matematicky identický s prístupom, keby generoval iba samotný veľký model.
O koľko dokáže táto technika zrýchliť inferenciu LLM?
V závislosti od úspešnosti odhadu menšieho modelu a typu úlohy prináša obvykle 2- až 3-násobné zrýchlenie generovania textu.
Čo sa stane, ak cieľový model zamietne návrh menšieho modelu?
Cieľový model odstrihne nesprávnu časť navrhnutých tokenov, vygeneruje jeden správny token a proces pokračuje ďalším návrhom menšieho modelu.
Aké podmienky musia spĺňať pomocný (Draft) a cieľový (Target) model?
Musia využívať rovnakú slovnú zásobu (tokenizer) a pomocný model musí byť dostatočne rýchly a zároveň dostatočne presný v odhadovaní zámeru cieľového modelu.
Prečo je špekulatívne dekódovanie obzvlášť výhodné pri architektúre GPU?
Pretože generovanie po jednom tokene je limitované priepustnosťou pamäte (memory-bound). Paralelné overenie viacerych tokenov naraz lepšie vyťažuje výpočtové jadro GPU.