Slovník výrazov AI/RAG a vyhľadávanie

RAG a vyhľadávanie

následné filtrovanie

Anglický výraz post-filtering

pokročiléheslo č. 6295 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená následné filtrovanie?

Následné filtrovanie najprv vykoná retrieval nad širšou kolekciou a potom z výsledného zoznamu odstráni položky, ktoré nespĺňajú metadátové podmienky. Je jednoduché a nezávislé od indexu, no môže vrátiť menej než požadovaný počet výsledkov a citlivé kandidáty sa nesmú dostať do nepovolenej vrstvy.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Aplikácia vyhľadá väčší top-N, odfiltruje neplatné obdobie a deduplikuje výsledky, kým používateľovi ukáže top-k. Oprávnenia sa však riešia skôr než model alebo klient uvidí obsah. Eval sleduje fill rate a adaptívne zväčšuje N iba v bezpečných limitoch.

Overiteľnosť

Odborné zdroje

  1. Elasticsearch - kNN search documentationelastic.co
  2. pgvector - vector similarity search for PostgreSQLgithub.com

Praktické odpovede

Často kladené otázky

Ako funguje následné filtrovanie?

Retriever vytvorí kandidátne poradie a aplikačná vrstva následne aplikuje predikát a vezme prvých k zostávajúcich položiek.

Kedy má následné filtrovanie praktický význam?

Aplikácia vyhľadá väčší top-N, odfiltruje neplatné obdobie a deduplikuje výsledky, kým používateľovi ukáže top-k.

S čím si pojem nezamieňať?

Pre-filter obmedzí priestor ešte pred similarity search; post-filter pracuje s už vybranými kandidátmi.

Ako sa výsledok kontroluje?

Kontroluje sa fill rate, relevancia po filtri, latencia pri oversamplingu a to, kde sa spracúvajú nepovolené položky.

Na čo si dať pozor?

Ak povolená podmnožina je malá, relevantné výsledky nemusia byť v pôvodnom top-N a oversampling zvýši náklady.