Slovník výrazov AI/Spracovanie prirodzeného jazyka

Spracovanie prirodzeného jazyka

lematizácia

Anglický výraz lemmatization

základnéheslo č. 5095 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená lematizácia?

Lematizácia priraďuje ohýbanému slovnému tvaru kanonickú slovníkovú podobu - lemu - s využitím slovného druhu a morfológie. Napríklad tvary „bol“, „je“ a „budú“ sa viažu k leme „byť“. Na rozdiel od mechanického skracovania má výsledok byť platnou jazykovou jednotkou.

Skúsenosť a kontext

Ako sa pojem používa v praxi

V korpusovom vyhľadávaní lemy spoja výskyty rôznych pádov a časov. Systém uchová pôvodný tvar aj lemu, používa jazykovo špecifické modely a pri menách či neologizmoch označí neistotu. Test sa stratifikuje podľa slovných druhov, frekvencie a toho, či bola lema v tréningu.

Overiteľnosť

Odborné zdroje

  1. Universal Dependencies - dokumentácia anotácieuniversaldependencies.org
  2. UDPipe 2.0 - analýza viet a morfológieaclanthology.org

Praktické odpovede

Často kladené otázky

Ako funguje lematizácia?

Model mapuje tvar a kontext na lemu pomocou lexikónu, pravidiel zmien koncov alebo sekvenčnej transformácie znakov.

Kedy má lematizácia praktický význam?

V korpusovom vyhľadávaní lemy spoja výskyty rôznych pádov a časov.

S čím si pojem nezamieňať?

Stemming odrezáva typické časti bez záruky platného slova; lematizácia používa gramatickú analýzu.

Ako sa výsledok kontroluje?

Meria sa presná zhoda lemy a osobitne výsledky pre neznáme tvary, vlastné mená a nejednoznačné formy.

Na čo si dať pozor?

Chybný slovný druh vedie k chybnej leme; odborné termíny a mená nemusia byť v lexikóne.