Presná definícia
Čo znamená kódovanie dvojíc bajtov?
Kódovanie dvojíc bajtov (BPE) v tokenizácii začína základnými symbolmi a opakovane zlúči najčastejšiu susednú dvojicu; naučené poradie zlúčení potom segmentuje nový text. Názov pochádza z kompresie, no NLP variant môže pracovať so znakmi alebo bajtmi. Výsledný slovník predstavuje kompromis medzi dĺžkou sekvencie a počtom tokenov.
Skúsenosť a kontext
Ako sa pojem používa v praxi
BPE sa používa pri preklade a LLM na spracovanie zriedkavých slov bez obrovského slovníka. Tréning vyžaduje reprezentatívny korpus a pevný počet zlúčení. Pred nasadením sa testujú rozdiely medzi jazykmi, Unicode normalizácia, medzery, čísla a kompatibilita implementácie s uloženým zoznamom zlúčení.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje kódovanie dvojíc bajtov?
V každej iterácii sa vyberie najčastejší susedný pár symbolov, nahradí novou jednotkou a pravidlo sa pridá do zoradeného zoznamu.
Kedy má kódovanie dvojíc bajtov praktický význam?
BPE sa používa pri preklade a LLM na spracovanie zriedkavých slov bez obrovského slovníka.
S čím si pojem nezamieňať?
WordPiece volí položky podľa pravdepodobnostného alebo skórovacieho kritéria slovníka, kým BPE používa poradie frekvenčných zlúčení.
Ako sa výsledok kontroluje?
Kontroluje sa presná reprodukcia merge pravidiel, kompresný pomer, pokrytie jazykov, round trip a segmentácia hraničných reťazcov.
Na čo si dať pozor?
Korpus môže zvýhodniť dominantný jazyk; odlišná normalizácia alebo poradie pravidiel zmení ID a poruší kompatibilitu s modelom.