Presná definícia
Čo znamená Stránkovaná pozornosť?
Stránkovaná pozornosť (PagedAttention) je algoritmus a schéma správy pamäte VRAM pri inferencii veľkých jazykových modelov, inšpirovaná stránkovaním virtuálnej pamäte v operačných systémoch. Ukladá kľúče a hodnoty (KV cache) do nespájaných fyzických pamäťových blokov, čím elimináciou internej a externej fragmentácie znižuje plytvanie pamäťou pri spracovaní dlhých kontextov a súbežných požiadaviek.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Kľúčová technológia v produkčných inferenčných engine-och (ako vLLM), ktorá umožňuje serverom obsluhovať výrazne vyšší počet súbežných používateľov naraz na rovnakej hardvérovej infraštruktúre GPU.
Overiteľnosť
Odborné zdroje
- Kwon, W., et al. (UC Berkeley, 2023). Efficient Memory Management for Large Language Model Serving with PagedAttention. SOSP 2023 / arXiv:2309.06180.arxiv.org
vLLM Project Team (2023). vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention.
Praktické odpovede
Často kladené otázky
Čo je to KV cache a prečo zaberá toľko pamäte GPU?
KV cache ukladá vektory kľúčov a hodnôt pre predchádzajúce tokeny v kontexte, aby sa nemusely opakovane prepočítavať pri generovaní každého nového tokenu, čo pri dlhých textoch dramaticky zvyšuje spotrebu VRAM.
Ako vzniká pamäťová fragmentácia pri klasickom ukladaní KV cache?
Tradičné systémy alokujú súvislé bloky pamäte pre najdlhší možný kontext vopred. Ak používateľ vygeneruje kratší text, vyhradená pamäť zostane nevyužitá.
O koľko dokáže PagedAttention znížiť plytvanie pamäťou VRAM?
Znižuje plytvanie pamäťou zo štandardných 60 - 80 % takmer na nulu (pod 4 %), čím uvoľňuje kapacitu pre ďalšie požiadavky.
Umožňuje PagedAttention zdieľanie pamäte medzi rôznymi požiadavkami?
Áno, pri paralelných vetvách konverzácie alebo pri rovnakých systémových inštrukciách (system prompts) dokážu rôzne procesy zdieľať rovnaké bloky pamäte prostredníctvom techniky Copy-on-Write.
V akých knižniciach a engine-och je PagedAttention implementovaný?
Technológia je integrovaná v engine-och ako vLLM, HuggingFace TGI (Text Generation Inference), TensorRT-LLM či LMDeploy.