Presná definícia
Čo znamená viachlavová pozornosť?
Viachlavová pozornosť rozdelí projekcie dopytov, kľúčov a hodnôt do viacerých hláv, vykoná škálovanú dot-product pozornosť v každej z nich a výsledky zreťazí cez výstupnú projekciu. Hlavy majú odlišné parametre, takže môžu zachytiť rôzne typy väzieb alebo podpriestory. Počet hláv však sám nezaručuje rozmanité správanie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri návrhu sa kontroluje deliteľnosť modelového rozmeru počtom hláv, pamäť matíc skóre a správne broadcastovanie masiek. Väčší počet hláv zmenšuje rozmer jednej hlavy pri pevnom d_model, preto môže byť kompromisom, nie bezplatným zlepšením. Tím porovnáva abláciu počtu hláv, sleduje redundanciu a meria kvalitu aj latenciu. Pri implementácii s batch_first treba osobitne overiť poradie dávka-sekvencia-príznak.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako vznikne jedna hlava?
Naučenými lineárnymi projekciami Q, K a V do menšieho podpriestoru.
Ako sa hlavy zlúčia?
Výstupy sa zreťazia a premietnu spoločnou výstupnou maticou.
Čo platí pri bežnej implementácii?
Hodnota d_model musí byť deliteľná počtom hláv.
Má každá hlava automaticky inú funkciu?
Nie, hlavy môžu byť čiastočne redundantné.
Znižuje viac hláv kvadratickú cenu?
Nie; pri plnej pozornosti sa stále tvoria skóre medzi pozíciami.