Slovník výrazov AI/Spracovanie prirodzeného jazyka

Spracovanie prirodzeného jazyka

korpus

Anglický výraz corpus

základnéheslo č. 5035 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená korpus?

Korpus je systematicky zostavená zbierka jazykových prejavov v textovej, zvukovej alebo multimodálnej podobe, doplnená metadátami a niekedy anotáciami. Na rozdiel od náhodného súboru dokumentov má opísaný výber, licencie, jednotky a účel, aby bolo možné posúdiť reprezentatívnosť a zopakovať analýzu.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Korpus slúži na opis používania slovenčiny, tréning taggera alebo hodnotenie prekladu. Správca zdokumentuje zdroje, obdobie, žánre, jazyky, súhlasy, licencie, deduplikáciu a rozdelenie na tréningovú a testovaciu časť. Pri publikovaní poskytne datasheet a prístupové pravidlá, nie iba počet slov.

Overiteľnosť

Odborné zdroje

  1. Jurafsky a Martin - Speech and Language Processingweb.stanford.edu
  2. Universal Dependencies - dokumentácia anotácieuniversaldependencies.org

Praktické odpovede

Často kladené otázky

Ako funguje korpus?

Záznamy sa zhromaždia podľa výberového rámca, normalizujú, označia metadátami a prípadne anotujú lingvistickými značkami.

Kedy má korpus praktický význam?

Korpus slúži na opis používania slovenčiny, tréning taggera alebo hodnotenie prekladu.

S čím si pojem nezamieňať?

Textový korpus obsahuje primárne písaný text; korpus môže zahŕňať aj reč, gestá, obraz alebo paralelné preklady.

Ako sa výsledok kontroluje?

Kontroluje sa pôvod, licencia, duplicita, distribúcia žánrov, kvalita anotácie a únik testovacích položiek do tréningu.

Na čo si dať pozor?

Veľkosť sama nezaručuje reprezentatívnosť; nejasné súhlasy, osobné údaje a historické predsudky sa môžu preniesť do modelu.