Presná definícia
Čo znamená rotačné pozičné vnorenie?
Rotačné pozičné vnorenie (RoPE) zakóduje pozíciu rotáciou dvojíc súradníc vektorov query a key o uhol závislý od indexu. Ich skalárny súčin potom prirodzene závisí od relatívneho rozdielu pozícií, hoci reprezentácia sa aplikuje absolútnymi rotáciami. RoPE nepridáva samostatný vektor k tokenovému vnoreniu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa v mnohých dekóderových LLM a spolu s KV cache. Pri implementácii musia sedieť frekvencie, poradie párov, smer rotácie a offset pozície pri pokračovaní generovania. Rozšírenie kontextu škálovaním frekvencií sa overuje na dlhých úlohách, nie iba tým, že model prijme viac tokenov.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje rotačné pozičné vnorenie?
Každá dvojica prvkov q a k sa v komplexnej interpretácii násobí fázou e^{iθpos}; relatívna fáza sa objaví v attention skóre.
Kedy má rotačné pozičné vnorenie praktický význam?
Používa sa v mnohých dekóderových LLM a spolu s KV cache.
S čím si pojem nezamieňať?
ALiBi pridáva vzdialenostný bias k logitom pozornosti, kým RoPE transformuje samotné query a key.
Ako sa výsledok kontroluje?
Testuje sa zhoda plného a cachovaného dekódovania, relatívne posuny, dlhé závislosti a citlivosť na použité škálovanie.
Na čo si dať pozor?
Nesprávny offset v cache poškodí všetky ďalšie tokeny; extrapolácia nad tréningový rozsah môže bez vhodnej úpravy degradovať.