Slovník výrazov AI/RAG a vyhľadávanie

RAG a vyhľadávanie

skórovanie relevancie

Anglický výraz relevance scoring

základnéheslo č. 6165 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená skórovanie relevancie?

Skórovanie relevancie priraďuje páru dopyt-položka hodnotu použitú na zoradenie výsledkov. Skóre môže pochádzať z BM25, vektorovej podobnosti, neurónového modelu alebo kombinácie signálov. Je relatívne ku konkrétnemu modelu a indexu; jeho číselná hodnota spravidla nie je kalibrovanou pravdepodobnosťou relevancie.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Vyhľadávač kombinuje textovú zhodu, čerstvosť a autoritu zdroja, ale váhy ladí na posudkoch relevantnosti a dokumentuje. Pri hybridných vetvách skóre normalizuje alebo spája poradia. Rozhodovací prah sa neurčuje z dojmu z čísla, ale z precision-recall krivky cieľovej úlohy.

Overiteľnosť

Odborné zdroje

  1. Manning, Raghavan a Schütze - Introduction to Information Retrievalnlp.stanford.edu
  2. Stanford IR Book - Okapi BM25nlp.stanford.edu

Praktické odpovede

Často kladené otázky

Ako funguje skórovanie relevancie?

Scorer transformuje signály páru na jednu hodnotu a ranker usporiada kandidátov zostupne alebo podľa naučenej straty poradia.

Kedy má skórovanie relevancie praktický význam?

Vyhľadávač kombinuje textovú zhodu, čerstvosť a autoritu zdroja, ale váhy ladí na posudkoch relevantnosti a dokumentuje.

S čím si pojem nezamieňať?

Podobnostné skóre je jeden signál; relevance môže zahŕňať informačný zámer, čas, pole dokumentu a ďalšie kritériá.

Ako sa výsledok kontroluje?

Používa sa nDCG, MAP, MRR, párová presnosť, kalibrácia prahov a analýza výsledkov podľa typu dopytu.

Na čo si dať pozor?

Nekompatibilné škály sa nedajú priamo sčítať a historické kliknutia môžu naučiť pozičný či popularitný bias.