Presná definícia
Čo znamená segmentácia slov?
Segmentácia slov rozdeľuje tok znakov alebo reči na jednotky, ktoré systém považuje za slová či tokeny. V jazykoch bez medzier je samostatnou predikčnou úlohou; aj pri slovenčine treba riešiť spojovníky, apostrofy, čísla a viacslovné tokeny. Výsledok je technická reprezentácia, nie definitívna lingvistická hranica slova.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tokenizer pred morfologickou analýzou priradí každému segmentu textový rozsah a stabilný identifikátor. Pravidlá sa verziujú spolu s modelom, pretože zmena hraníc zneplatní slovníky a anotácie. Test obsahuje URL, mená, zložené výrazy aj chybné medzery a hodnotí presné zhody hraníc.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje segmentácia slov?
Algoritmus volí hranice podľa medzier, slovníka, štatistiky susedných znakov alebo sekvenčného modelu.
Kedy má segmentácia slov praktický význam?
Tokenizer pred morfologickou analýzou priradí každému segmentu textový rozsah a stabilný identifikátor.
S čím si pojem nezamieňať?
Subslovná tokenizácia môže jedno slovo zámerne rozdeliť na viac modelových tokenov; segmentácia slov cieli na jazykové jednotky.
Ako sa výsledok kontroluje?
Meria sa precision, recall a F1 hraníc alebo presnosť celej vety a analyzujú sa typy odchýlok.
Na čo si dať pozor?
Jedna chybná hranica posunie ďalšie anotácie; pravidlá prenesené medzi jazykmi môžu rozbiť mená a zloženiny.