Slovník výrazov AI/Spracovanie prirodzeného jazyka

Spracovanie prirodzeného jazyka

dokument

Anglický výraz document

základnéheslo č. 5055 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená dokument?

Dokument v NLP je ohraničená jednotka textu spracúvaná ako celok, napríklad článok, e-mail, zmluva alebo prepis rozhovoru. Hranica dokumentu určuje dostupný kontext, metadáta a spôsob delenia dát; nemusí sa zhodovať so súborom, stránkou ani jedným používateľským vstupom.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri klasifikácii zmlúv sa jeden dokument uchová ako nedeliteľná skupina všetkých strán a príloh. Identifikátor spája text s verziou, jazykom, pôvodom a prístupovými právami. Rozdelenie na tréning a test sa robí podľa dokumentu alebo autora, aby odseky z tej istej predlohy nevytvorili únik dát.

Overiteľnosť

Odborné zdroje

  1. Jurafsky a Martin - Speech and Language Processingweb.stanford.edu
  2. Lost in the Middle: How Language Models Use Long Contextsaclanthology.org

Praktické odpovede

Často kladené otázky

Ako funguje dokument?

Pipeline načíta obsah, oddelí štruktúru a metadáta, segmentuje text a agreguje výsledky späť na úroveň dokumentu.

Kedy má dokument praktický význam?

Pri klasifikácii zmlúv sa jeden dokument uchová ako nedeliteľná skupina všetkých strán a príloh.

S čím si pojem nezamieňať?

Veta je gramatická jednotka; dokument je dátová a diskurzová jednotka, ktorá môže obsahovať mnoho viet i netextové prvky.

Ako sa výsledok kontroluje?

Kontrolujú sa hranice, poradie častí, úplnosť príloh, kódovanie, duplicita a konzistentnosť identifikátorov.

Na čo si dať pozor?

Chybné spájanie alebo delenie dokumentov skreslí kontext, metriky aj prístupové pravidlá; dlhý dokument môže presiahnuť okno modelu.