Presná definícia
Čo znamená segmentácia dokumentu?
Segmentácia dokumentu pre RAG rozdeľuje dokument na menšie jednotky, ktoré sa samostatne indexujú a vracajú modelu. Hranice môžu sledovať odseky, nadpisy, tokeny alebo významové celky. Chunking mení, aký dôkaz môže retriever nájsť; nejde iba o technické skrátenie súboru.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Smernica sa rozdelí podľa sekcií a každý segment zdedí názov dokumentu, kapitolu, verziu a oprávnenie. Tabuľka či zoznam sa nerozsekne uprostred. Tím porovná viac veľkostí na reálnych otázkach a po nájdení segmentu môže pridať rodičovský kontext.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje segmentácia dokumentu?
Parser identifikuje štruktúru a vytvorí prekrývajúce alebo neprekrývajúce úseky s identifikátormi a pozíciou v zdroji.
Kedy má segmentácia dokumentu praktický význam?
Smernica sa rozdelí podľa sekcií a každý segment zdedí názov dokumentu, kapitolu, verziu a oprávnenie.
S čím si pojem nezamieňať?
Segmentácia viet sleduje lingvistické hranice; document chunking vytvára retrieval jednotky, ktoré môžu obsahovať viac viet.
Ako sa výsledok kontroluje?
Meria sa retrieval recall, presnosť citovanej pasáže, úplnosť odpovede a chybné rozdelenie tabuliek či nadpisov.
Na čo si dať pozor?
Príliš malý segment stratí kontext, príliš veľký zriedi relevanciu a zvýši spotrebu okna.