Presná definícia
Čo znamená vnorenie tokenov?
Vnorenie tokenov je riadok naučenej matice priradený konkrétnemu tokenovému ID ešte pred kontextovým spracovaním. Rovnaký token má v tejto tabuľke rovnaký základný vektor bez ohľadu na vetu; transformer ho kombinuje s polohou a ďalšími vrstvami. Výstupná projekcia môže s touto maticou zdieľať váhy.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa ako vstupná reprezentácia LLM. Pri rozšírení slovníka treba inicializovať nové riadky a model doučiť; prehodenie ID poškodí význam všetkých príslušných vektorov. Analýza sleduje normy, zriedkavé tokeny a jazyky, no samotná blízkosť vstupných embeddingov nevystihuje celé kontextové správanie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje vnorenie tokenov?
Celočíselné ID indexuje maticu V×d a vybraný vektor sa s pozičnou informáciou posunie do prvého bloku siete.
Kedy má vnorenie tokenov praktický význam?
Používa sa ako vstupná reprezentácia LLM.
S čím si pojem nezamieňať?
Kontextové vnorenie vzniká po spracovaní okolím a pre rovnaký token sa mení; token embedding je statický vstupný parameter.
Ako sa výsledok kontroluje?
Kontroluje sa súlad ID so slovníkom, distribúcia noriem, gradienty zriedkavých položiek a kompatibilita pri zdieľaní výstupnej matice.
Na čo si dať pozor?
Zriedkavé tokeny môžu mať slabo naučené vektory; statické susedstvo môže odrážať frekvenciu alebo bias skôr než žiadaný význam.