Presná definícia
Čo znamená tokenizér?
Tokenizér je deterministický alebo naučený prevodník medzi surovým textom a postupnosťou tokenových identifikátorov vrátane pravidiel normalizácie, segmentácie a špeciálnych symbolov. Je súčasťou modelového artefaktu: zmena slovníka alebo mapovania ID bez zodpovedajúcej zmeny váh naruší význam vstupov.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa pred každým vstupom do jazykového modelu a po výstupe na dekódovanie. Nasadenie musí pripnúť verziu tokenizéra, rovnakú normalizáciu a ID špeciálnych tokenov na klientovi aj serveri. Pred migráciou sa porovnajú dĺžky a round-trip výsledky na viacjazyčnom, kódovom a hraničnom korpuse.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje tokenizér?
Normalizátor upraví text, segmentačný algoritmus vyberie položky zo slovníka a prevodná tabuľka ich nahradí celočíselnými ID.
Kedy má tokenizér praktický význam?
Používa sa pred každým vstupom do jazykového modelu a po výstupe na dekódovanie.
S čím si pojem nezamieňať?
Tokenizácia je proces vykonaný na konkrétnom texte; tokenizér je súbor pravidiel, modelu slovníka a implementácie, ktorá proces vykoná.
Ako sa výsledok kontroluje?
Testuje sa presná reprodukcia ID, encode-decode round trip, špeciálne tokeny, Unicode normalizácia, rýchlosť a počet tokenov podľa jazykov.
Na čo si dať pozor?
Nesúlad verzií môže ticho meniť vstup; agresívna normalizácia môže stratiť význam a slovník môže znevýhodniť niektoré jazyky.