Slovník výrazov AI/RAG a vyhľadávanie

RAG a vyhľadávanie

bi-enkóder

Anglický výraz bi-encoder

základnéheslo č. 6135 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená bi-enkóder?

Bi-enkóder kóduje dopyt a kandidátsky text oddelene na vektory a ich vzťah vyhodnotí jednoduchou podobnostnou funkciou. Dokumentové vektory možno predpočítať, preto je vhodný na prvotné vyhľadávanie vo veľkej kolekcii. Oddelené kódovanie však zachytáva jemnú interakciu slov slabšie než krížový enkóder.

Skúsenosť a kontext

Ako sa pojem používa v praxi

V katalógu sa všetky popisy zakódujú offline a pri dopyte vznikne iba jeden nový vektor. ANN vráti stovky kandidátov, ktoré následne preusporiada cross-encoder. Tréning používa ťažké negatívne príklady a eval oddelí recall prvého stupňa od kvality rerankingu.

Overiteľnosť

Odborné zdroje

  1. Dense Passage Retrieval for Open-Domain Question Answeringarxiv.org
  2. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networksarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje bi-enkóder?

Dve zdieľané alebo samostatné siete vytvoria vektory a kontrastná strata približuje relevantné páry a vzďaľuje negatívne.

Kedy má bi-enkóder praktický význam?

V katalógu sa všetky popisy zakódujú offline a pri dopyte vznikne iba jeden nový vektor.

S čím si pojem nezamieňať?

Krížový enkóder spracuje dopyt a dokument spoločne; bi-enkóder umožňuje predpočet a rýchle ANN hľadanie.

Ako sa výsledok kontroluje?

Meria sa recall@k, kvalita embeddingov, priepustnosť, pamäť a odolnosť voči ťažkým tematicky podobným negatívam.

Na čo si dať pozor?

Slabé negatívne príklady vedú k povrchnej podobnosti a jeden vektor môže stratiť detail dlhého dokumentu.