Slovník výrazov AI/RAG a vyhľadávanie

RAG a vyhľadávanie

riedke vyhľadávanie

Anglický výraz sparse retrieval

základnéheslo č. 6125 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená riedke vyhľadávanie?

Riedke vyhľadávanie reprezentuje dopyt a dokument vo vysokorozmernom priestore termínov, kde je nenulá iba malá časť zložiek. Klasickými príkladmi sú TF-IDF a BM25 nad invertovaným indexom; existujú aj naučené riedke reprezentácie. Skóre je často spätne vysvetliteľné cez zhodné termíny.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Vyhľadávač predpisov použije BM25, zvýši váhu názvu a zachová paragrafové označenia. Jazykový analyzér, stop-slová a synonymá sa verziujú s indexom. Eval sleduje presné názvy aj dopyty s odlišným slovníkom; hybridná vetva doplní sémantické prípady.

Overiteľnosť

Odborné zdroje

  1. Stanford IR Book - TF-IDF weightingnlp.stanford.edu
  2. Stanford IR Book - Okapi BM25nlp.stanford.edu

Praktické odpovede

Často kladené otázky

Ako funguje riedke vyhľadávanie?

Termínový index uloží iba nenulové váhy a pri dopyte prechádza postings zoznamy zhodných alebo rozšírených výrazov.

Kedy má riedke vyhľadávanie praktický význam?

Vyhľadávač predpisov použije BM25, zvýši váhu názvu a zachová paragrafové označenia.

S čím si pojem nezamieňať?

Hustý retrieval kóduje význam do spojitého vektora; sparse retrieval uchováva explicitné termínové rozmery.

Ako sa výsledok kontroluje?

Hodnotí sa nDCG, recall@k, vysvetlenie skóre, veľkosť indexu a citlivosť na analyzér či synonymá.

Na čo si dať pozor?

Bez spoločného výrazu relevantný dokument vypadne a zlá normalizácia môže poškodiť skloňované jazyky alebo kódy.