Slovník výrazov AI/Spracovanie prirodzeného jazyka

Spracovanie prirodzeného jazyka

klasifikácia textu

Anglický výraz text classification

pokročiléheslo č. 5235 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená klasifikácia textu?

Klasifikácia textu priraďuje dokumentu, vete alebo úseku jednu či viac značiek z vopred určeného inventára. Model odhaduje rozhodovaciu hranicu z označených príkladov; výsledok preto platí pre definované triedy, jednotku textu a distribúciu dát, nie ako všeobecný opis obsahu.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Podpora triedi požiadavky podľa témy a naliehavosti, pričom samostatné modely alebo multi-label výstup zachytia viac vlastností. Dáta sa delia podľa zákazníka a času, porovná sa väčšinová a pravidlová baseline a prah sa nastaví podľa nákladov omylov. Nízka istota smeruje na ručné triedenie.

Overiteľnosť

Odborné zdroje

  1. BERT: Pre-training of Deep Bidirectional Transformersarxiv.org
  2. Jurafsky a Martin - Speech and Language Processingweb.stanford.edu

Praktické odpovede

Často kladené otázky

Ako funguje klasifikácia textu?

Encoder vytvorí reprezentáciu textu a klasifikačná vrstva priradí skóre každej triede; prah určí finálne značky.

Kedy má klasifikácia textu praktický význam?

Podpora triedi požiadavky podľa témy a naliehavosti, pričom samostatné modely alebo multi-label výstup zachytia viac vlastností.

S čím si pojem nezamieňať?

Extrakcia kľúčových slov vracia otvorený zoznam fráz; klasifikácia vyberá zo známych kategórií.

Ako sa výsledok kontroluje?

Sleduje sa confusion matrix, precision, recall, F1, kalibrácia a výkon podľa triedy, domény a času.

Na čo si dať pozor?

Nevyvážené triedy a zmena tém môžu skryť slabý recall pod vysokou accuracy; značky môžu obsahovať predsudky anotátorov.