Presná definícia
Čo znamená rekurzívna segmentácia dokumentu?
Rekurzívna segmentácia dokumentu skúša deliť text postupne od prirodzených väčších hraníc k menším, napríklad kapitola, odsek, veta a napokon tokenový limit. Ak blok presahuje maximum, znova sa rozdelí ďalším pravidlom. „Rekurzívna“ označuje stratégiu delenia, nie neurónovú architektúru.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Dokument sa najprv rozdelí pri nadpisoch, príliš dlhé sekcie pri odsekoch a až zvyšok podľa viet či tokenov. Každý potomok zdedí cestu nadpisov a pozíciu. Testy zahŕňajú bloky bez interpunkcie, kód a tabuľky; porovnávajú sa s pevnou segmentáciou.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje rekurzívna segmentácia dokumentu?
Funkcia aplikuje prioritný zoznam separátorov a nadlimitné časti odovzdá sama sebe s jemnejším separátorom.
Kedy má rekurzívna segmentácia dokumentu praktický význam?
Dokument sa najprv rozdelí pri nadpisoch, príliš dlhé sekcie pri odsekoch a až zvyšok podľa viet či tokenov.
S čím si pojem nezamieňať?
Semantic chunking hľadá zmenu významu; recursive chunking nasleduje hierarchiu deterministických hraníc a limitov.
Ako sa výsledok kontroluje?
Overuje sa maximálna dĺžka, zachovanie textu bez strát, metadáta predkov, počet fragmentov a retrieval kvalita.
Na čo si dať pozor?
Zlé poradie separátorov rozbije významový blok a text bez hraníc skončí mechanickým delením uprostred jednotky.