Presná definícia
Čo znamená token?
Token je diskrétna jednotka, ktorú model spracúva ako identifikátor zo svojho slovníka. Môže predstavovať celé slovo, podslovo, znak, bajt, interpunkciu alebo špeciálnu značku. Jeho hranice určuje konkrétny tokenizér; rovnaký text preto môže mať v dvoch modeloch odlišný počet tokenov aj odlišné delenie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tokeny určujú cenu, dĺžku kontextu a spôsob, akým model vidí text. Pri odhade limitu sa používa presný tokenizér danej verzie, nie počet slov. Testy zahŕňajú slovenčinu, diakritiku, čísla, kód, emoji a nezvyčajné Unicode znaky, pretože neefektívne delenie zvyšuje latenciu a môže zhoršiť spracovanie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje token?
Tokenizér prevedie text na ID; model priradí každému ID vektor a po výpočte predikuje ďalšie ID alebo reprezentáciu.
Kedy má token praktický význam?
Tokeny určujú cenu, dĺžku kontextu a spôsob, akým model vidí text.
S čím si pojem nezamieňať?
Slovo je jazyková jednotka, kým token je technická jednotka modelu a môže byť menší, väčší alebo obsahovať medzeru.
Ako sa výsledok kontroluje?
Kontroluje sa obojsmerná konverzia encode-decode, počet tokenov na znaky, pokrytie skriptov a správanie špeciálnych ID.
Na čo si dať pozor?
Zámena slov a tokenov vedie k chybným limitom; neobvyklý text sa môže rozpadnúť na veľa jednotiek a vyčerpať kontext.