Presná definícia
Čo znamená Skupinová pozornosť s dopytom?
Skupinová pozornosť s dopytom (GQA) je varianta mechanizmu pozornosti (Attention) v architektúre Transformer, ktorá spája viacero hlavíc dopytov (queries) do skupín zdieľajúcich jediné hlavice kľúčov (keys) a hodnôt (values). Tvorí kompromis medzi klasickou Multi-Head Attention (MHA) a pamäťovo úspornou Multi-Query Attention (MQA).
Skúsenosť a kontext
Ako sa pojem používa v praxi
Štandardne sa nasadzuje pri návrhu moderných otvorených aj uzavretých veľkých jazykových modelov (napr. Llama 2/3, Mistral 7B, Gemma) na dramatické zmenšenie veľkosti KV cache pri inferencii bez viditeľnej straty presnosti.
Overiteľnosť
Odborné zdroje
- Ainslie, J., et al. (Google Research, 2023). GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. EMNLP 2023 / arXiv:2305.13245.arxiv.org
Meta AI (2024). The Llama 3 Herd of Models: Architecture and Optimization. Meta AI Technical Report.
Praktické odpovede
Často kladené otázky
Aký je hlavný rozdiel medzi MHA, MQA a GQA?
MHA má samostatné KV hlavice pre každý query, MQA má jedinú KV hlavicu pre všetky query naraz a GQA zoskupuje určité množstvo query hlavíc (napr. 8) pod jednu KV hlavicu.
O koľko zmenšuje GQA pamäťovú náročnosť KV cache?
Zmenšuje veľkosť KV cache v pamäti VRAM úmerne počtu skupín - napríklad pri pomere 8 dopytových hlavíc na 1 KV hlavicu klesne pamäťová náročnosť KV cache až 8-násobne.
Dochádza pri použití GQA k zhoršeniu kvality vygenerovaného textu?
Empirické testy ukazujú, že GQA dosahuje prakticky rovnakú presnosť a kvalitu odpovedí ako plná MHA, no s rýchlosťou inferencie blízkou MQA.
Prečo je GQA výhodné pre servovanie modelov v produkcii?
Umožňuje obslúžiť podstatne dlhšie kontextové okná a vyšší počet súbežných používateľských požiadaviek na rovnakej hardvérovej infraštruktúre.
Dá sa natrénovaný MHA model adaptovať na GQA?
Áno, pomocou techniky zvanej Uptraining sa dá existujúci MHA model rýchlo pretrénovať na GQA s využitím len malej časti pôvodných trénovacích dát.