Slovník výrazov AI/Spracovanie prirodzeného jazyka

Spracovanie prirodzeného jazyka

extrakcia kľúčových slov

Anglický výraz keyword extraction

špecializovanéheslo č. 5485 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená extrakcia kľúčových slov?

Extrakcia kľúčových slov vyberá z dokumentu slová alebo viacslovné frázy, ktoré najlepšie reprezentujú jeho témy či vyhľadávací obsah. Výstup môže byť extraktívny alebo môže normalizovať tvar, ale musí mať definovanú jednotku a počet. Frekventované slovo nie je automaticky kľúčové a dôležitosť závisí od korpusu.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Publikačný systém navrhne päť výrazov pre indexovanie článku, editor ich doplní alebo odmietne. Kandidáti sa lematizujú, zoskupia varianty a skóre kombinuje špecifickosť v dokumente s odlíšením od korpusu. Eval sleduje zhodu s odborníkmi aj prínos pre vyhľadávanie.

Overiteľnosť

Odborné zdroje

  1. Jurafsky a Martin - Speech and Language Processingweb.stanford.edu
  2. SimCSE: Simple Contrastive Learning of Sentence Embeddingsaclanthology.org

Praktické odpovede

Často kladené otázky

Ako funguje extrakcia kľúčových slov?

Algoritmus vytvorí kandidátne frázy podľa POS vzorov a zoradí ich pomocou TF-IDF, grafu alebo sémantického modelu.

Kedy má extrakcia kľúčových slov praktický význam?

Publikačný systém navrhne päť výrazov pre indexovanie článku, editor ich doplní alebo odmietne.

S čím si pojem nezamieňať?

Extrakcia terminológie cieli na ustálené odborné jednotky v doméne; kľúčové slová môžu byť jednorazovo významné pre dokument.

Ako sa výsledok kontroluje?

Používa sa precision@k, recall@k, zhoda normalizovaných fráz a zlepšenie downstream vyhľadávania.

Na čo si dať pozor?

Synonymá znižujú presnú zhodu a model môže uprednostniť titulkové slová pred podstatným, no menej častým obsahom.