Presná definícia
Čo znamená prekryv segmentov?
Prekryv segmentov je opakovanie časti textu v susedných segmentoch, aby informácia pri hranici zostala dostupná aspoň v jednom retrieval výsledku. Udáva sa počtom tokenov, viet alebo percentom. Zvyšuje redundanciu indexu a môže zaplniť top-k takmer rovnakými výsledkami.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri pevnom tokenovom delení sa posledná veta segmentu zopakuje na začiatku ďalšieho. Deduplication pri retrieveli zlúči susedné zásahy a citácia smeruje na pôvodné pozície. Eval porovná nulový a viac úrovní prekryvu na hraničných otázkach aj náklady indexu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje prekryv segmentov?
Posuvné okno posunie začiatok nového segmentu o menší krok než je jeho veľkosť, čím vznikne spoločný úsek.
Kedy má prekryv segmentov praktický význam?
Pri pevnom tokenovom delení sa posledná veta segmentu zopakuje na začiatku ďalšieho.
S čím si pojem nezamieňať?
Sliding-window retrieval opisuje spôsob vyhľadania či rozšírenia okolia; chunk overlap je vlastnosť indexovaných segmentov.
Ako sa výsledok kontroluje?
Meria sa recall na faktoch cez hranicu, redundancia top-k, veľkosť indexu, latencia a počet unikátnych zdrojov.
Na čo si dať pozor?
Veľký prekryv zvyšuje cenu, skresľuje ranking duplicitami a môže viesť generátor k opakovaniu.