Slovník výrazov AI/RAG a vyhľadávanie

RAG a vyhľadávanie

dokumentové vnorenie

Anglický výraz document embedding

pokročiléheslo č. 6325 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená dokumentové vnorenie?

Dokumentové vnorenie je vektor reprezentujúci celý dokument alebo jeho agregovaný obsah pre klasifikáciu, zoskupovanie či retrieval. Môže vzniknúť priamym kódovaním, poolingom segmentov alebo hierarchickým modelom. Pri dlhom a tematicky zmiešanom dokumente jediný vektor často zriedi lokálne relevantnú pasáž.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Katalóg používa dokumentový embedding na hrubé hľadanie podobných článkov a segmentové embeddingy na presný dôkaz. Nadpis a kľúčové polia sa kódujú podľa dokumentovaného pravidla. Eval porovná jeden vektor s max alebo váženou agregáciou segmentov a kontroluje dlhé dokumenty.

Overiteľnosť

Odborné zdroje

  1. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networksarxiv.org
  2. Lost in the Middle: How Language Models Use Long Contextsaclanthology.org

Praktické odpovede

Často kladené otázky

Ako funguje dokumentové vnorenie?

Model zakóduje skrátený text alebo agreguje reprezentácie častí do vektora pevného rozmeru.

Kedy má dokumentové vnorenie praktický význam?

Katalóg používa dokumentový embedding na hrubé hľadanie podobných článkov a segmentové embeddingy na presný dôkaz.

S čím si pojem nezamieňať?

Vetné vnorenie cieli na krátky súdržný výrok; document embedding musí riešiť dĺžku, viac tém a štruktúru.

Ako sa výsledok kontroluje?

Meria sa document retrieval, klasifikácia, stabilita voči poradiu segmentov a výkon podľa dĺžky a počtu tém.

Na čo si dať pozor?

Truncation môže odstrániť jadro a priemer segmentov prehliadne malú, no rozhodujúcu časť dokumentu.