Presná definícia
Čo znamená sínusoidné pozičné kódovanie?
Sínusoidné pozičné kódovanie priraďuje každej pozícii pevný vektor sínusov a kosínusov s geometricky rozloženými frekvenciami a pripočíta ho k tokenovému vnoreniu. Nemá učené pozičné parametre; relatívny posun možno vyjadriť lineárnou transformáciou týchto periodických zložiek, čo motivovalo jeho použitie v pôvodnom transformeri.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa v transformeroch, kde je žiaduca jednoduchá pevná reprezentácia pozície. Implementácia musí dodržať správne párovanie frekvencií, indexovanie od nuly a rozmer modelu. Pri dĺžkach nad tréningovým rozsahom sa osobitne testuje vyhľadanie a poradie, pretože matematická definícia neznamená naučenú extrapolačnú schopnosť.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje sínusoidné pozičné kódovanie?
Pre pozíciu pos a rozmer i sa vypočítajú striedavé sin a cos hodnoty s rôznymi vlnovými dĺžkami a sčítajú sa so vstupom.
Kedy má sínusoidné pozičné kódovanie praktický význam?
Používa sa v transformeroch, kde je žiaduca jednoduchá pevná reprezentácia pozície.
S čím si pojem nezamieňať?
RoPE rotuje query a key a vplýva priamo na skóre pozornosti; sínusoidný vektor sa pridáva k reprezentácii tokenu.
Ako sa výsledok kontroluje?
Kontroluje sa numerická zhoda s referenčným vzorcom, rozlíšenie blízkych pozícií a výkon na poradových úlohách pri rastúcej dĺžke.
Na čo si dať pozor?
Chyba v báze, dimenziách alebo indexe vytvorí nekompatibilné kódy; periodické signály samy nezaručia spoľahlivé použitie veľmi dlhého kontextu.