Presná definícia
Čo znamená identifikácia jazyka?
Identifikácia jazyka určuje jazyk alebo jazykovú varietu textu či rečového úseku z definovanej množiny. Pri krátkom alebo zmiešanom vstupe môže byť výsledok viacnásobný alebo neistý. Kód jazyka je klasifikačný výstup, nie posúdenie identity používateľa ani kvality jeho prejavu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Viacjazyčný systém identifikuje jazyk každej správy a zvolí príslušný tokenizer, model a politiku podpory. Zachová triedu „neznámy“ a pri code-switchingu označí úseky. Test obsahuje krátke slová, mená, príbuzné jazyky, transliteráciu a text bez diakritiky; prah bráni nesprávnemu presmerovaniu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje identifikácia jazyka?
Klasifikátor využije distribúciu znakov, subslov a kontextové reprezentácie na skórovanie podporovaných jazykov.
Kedy má identifikácia jazyka praktický význam?
Viacjazyčný systém identifikuje jazyk každej správy a zvolí príslušný tokenizer, model a politiku podpory.
S čím si pojem nezamieňať?
Rozpoznávanie písma určuje grafický systém; jeden jazyk môže používať viac písiem a jedno písmo mnoho jazykov.
Ako sa výsledok kontroluje?
Meria sa macro-F1, kalibrácia, výsledky podľa dĺžky a confusion matrix príbuzných jazykov.
Na čo si dať pozor?
Veľmi krátky text, vlastné mená a miešanie jazykov sú prirodzene nejednoznačné; slabé jazyky môžu byť systematicky prehlasované.