Presná definícia
Čo znamená textový korpus?
Textový korpus je korpus, ktorého základnými záznamami sú písané alebo prepísané texty usporiadané na jazykovú analýzu či učenie modelu. Obsahuje hranice dokumentov, metadáta a pravidlá normalizácie; môže byť jednojazyčný, paralelný, porovnateľný alebo odborne anotovaný.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri tvorbe klasifikátora správ sa korpus rozdelí podľa vydavateľa a času, aby rovnaký článok nebol súčasne v tréningu aj teste. Uchová sa pôvodný text, čistená verzia, jazyk, dátum a licencia. Pri osobných údajoch sa zvolí oprávnený účel, minimalizácia a riadený prístup. Zloženie sa porovná s budúcou prevádzkou.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje textový korpus?
Dokumenty sa segmentujú, kódujú v jednotnom formáte a indexujú spolu s metadátami a anotáciami.
Kedy má textový korpus praktický význam?
Pri tvorbe klasifikátora správ sa korpus rozdelí podľa vydavateľa a času, aby rovnaký článok nebol súčasne v tréningu aj teste.
S čím si pojem nezamieňať?
Zbierka webových stránok bez opísaného výberu a metadát ešte nemusí byť metodologicky použiteľným korpusom.
Ako sa výsledok kontroluje?
Vzorky sa ručne auditujú; meria sa duplicita, jazyková čistota, pokrytie domén, chyby OCR a integrita rozdelení.
Na čo si dať pozor?
Čistenie môže odstrániť dôležité variety, webový zber môže porušiť licencie a časový posun znižuje platnosť testu.