Presná definícia
Čo znamená záchyt vyhľadávania?
Záchyt vyhľadávania vyjadruje podiel všetkých relevantných položiek, ktoré systém našiel, často v prvých k výsledkoch. V RAG sa prakticky meria, či top-k obsahuje aspoň jeden dostatočný dôkaz pre otázku. Vyžaduje čo najúplnejšie posudky relevantnosti; neoznačený nový výsledok nemusí byť nerelevantný.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pre každú otázku anotátori označia dôkazové segmenty a tím vypočíta recall@5, @20 a success@k. Nízky recall sa analyzuje podľa query rewriting, filtrov, chunkingu a indexu ešte pred ladením generátora. Latencia a tokenový rozpočet určujú užitočný rozsah k.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje záchyt vyhľadávania?
Počet nájdených relevantných položiek sa delí celkovým počtom relevantných položiek alebo sa testuje prítomnosť dôkazu v top-k.
Kedy má záchyt vyhľadávania praktický význam?
Pre každú otázku anotátori označia dôkazové segmenty a tím vypočíta recall@5, @20 a success@k.
S čím si pojem nezamieňať?
Precision meria čistotu vrátených výsledkov; recall meria, koľko dostupných relevantných položiek systém zachytil.
Ako sa výsledok kontroluje?
Používa sa recall@k alebo answer-containing passage recall s intervalmi a posudkami podľa typu otázky.
Na čo si dať pozor?
Neúplný gold set podhodnotí nový relevantný dokument a vysoký recall pri veľkom k môže zahltiť generátor šumom.