Presná definícia
Čo znamená pozičné kódovanie?
Pozičné kódovanie dodáva transformeru informáciu o poradí tokenov, pretože samotná self-attention je bez pozícií permutačne ekvivalentná. Pozícia sa môže pripočítať k vnorenému tokenu, aplikovať rotáciou na query a key alebo vyjadriť biasom v skóre pozornosti. Voľba ovplyvňuje extrapoláciu na dlhšie sekvencie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa v každom transformeri spracúvajúcom poradie. Architekt musí zladiť typ kódovania s maximálnou tréningovou dĺžkou, cache a implementáciou pozornosti. Pri rozšírení kontextu sa testujú úlohy citlivé na poradie a vzdialenosť; mechanické zvýšenie limitu bez validácie môže zhoršiť presnosť.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje pozičné kódovanie?
Do výpočtu sa vloží funkcia indexu pozície, takže pozornosť dokáže rozlíšiť rovnaký token na rôznych miestach a relatívne vzdialenosti.
Kedy má pozičné kódovanie praktický význam?
Používa sa v každom transformeri spracúvajúcom poradie.
S čím si pojem nezamieňať?
Vnorenie tokenu nesie identitu tokenu; pozičné kódovanie nesie miesto alebo vzdialenosť a obe reprezentácie sa v bloku kombinujú.
Ako sa výsledok kontroluje?
Kontroluje sa rozlíšenie poradia, výkon podľa vzdialenosti, extrapolácia za tréningový rozsah a numerická zhoda s cache dekódovania.
Na čo si dať pozor?
Nekompatibilná zmena škálovania alebo indexovania naruší uložené váhy; model môže pri dĺžkach mimo tréningu stratiť lokalizáciu.