Slovník výrazov AI/RAG a vyhľadávanie

RAG a vyhľadávanie

vetné vnorenie

Anglický výraz sentence embedding

pokročiléheslo č. 6315 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená vetné vnorenie?

Vetné vnorenie je vektorová reprezentácia vety alebo krátkeho textu navrhnutá tak, aby sa významovo podobné výroky dali porovnávať efektívnou metrikou. Zvyčajne vzniká poolingom tokenových reprezentácií a kontrastným tréningom. Jeden vektor môže stratiť negáciu, čísla alebo jemné vzťahy.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Systém zoskupí parafrázy zákazníckych otázok podľa kosínusovej podobnosti a hraničné dvojice overí človek. Používa rovnaké predspracovanie a jazykový model pre všetky vety. Prah sa ladí na pároch z reálnej domény vrátane podobnej témy s opačným významom.

Overiteľnosť

Odborné zdroje

  1. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networksarxiv.org
  2. SimCSE: Simple Contrastive Learning of Sentence Embeddingsaclanthology.org

Praktické odpovede

Často kladené otázky

Ako funguje vetné vnorenie?

Encoder spracuje celú vetu a pooling premení sekvenciu tokenov na jediný hustý vektor.

Kedy má vetné vnorenie praktický význam?

Systém zoskupí parafrázy zákazníckych otázok podľa kosínusovej podobnosti a hraničné dvojice overí človek.

S čím si pojem nezamieňať?

Tokenové vnorenie reprezentuje jednu pozíciu alebo subslovo; sentence embedding sumarizuje celý výrok do jedného vektora.

Ako sa výsledok kontroluje?

Hodnotí sa korelácia s ľudskou podobnosťou, retrieval výkon, prahová presnosť a kontrastné páry s negáciou.

Na čo si dať pozor?

Dlhé a viacvetné vstupy prekračujú účel reprezentácie a kosínusová blízkosť sa môže zameniť za entailment.