Slovník výrazov AI/Veľké jazykové modely

Veľké jazykové modely

vnorenie

Anglický výraz embedding

pokročiléheslo č. 4745 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená vnorenie?

Vnorenie je naučené alebo vypočítané zobrazenie diskrétneho či zložitého objektu do vektora, v ktorom geometrické vzťahy slúžia modelovej úlohe. Blízkosť môže zachytávať podobnosť textu, obrazu alebo používateľského správania, ale jej význam určujú tréningový cieľ, metrika a dáta; nejde o univerzálnu sémantickú súradnicu.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Vnorenia sa používajú vo vyhľadávaní, odporúčaní, zhlukovaní a ako vstup neurónovej siete. Pred indexovaním sa vyberie vhodný model a metrika, vytvorí sa doménový eval s pozitívnymi a ťažkými negatívnymi pármi a zavedie sa verzovanie. Pri zmene embedding modelu sa index zvyčajne musí prepočítať.

Overiteľnosť

Odborné zdroje

  1. Deep Contextualized Word Representationsaclanthology.org
  2. Attention Is All You Needarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje vnorenie?

Enkodér premení objekt na vektor a tréning posúva vybrané páry bližšie alebo ďalej, prípadne optimalizuje následnú predikčnú stratu.

Kedy má vnorenie praktický význam?

Vnorenia sa používajú vo vyhľadávaní, odporúčaní, zhlukovaní a ako vstup neurónovej siete.

S čím si pojem nezamieňať?

Latentný kód je konkrétna vnútorná premenná generatívneho modelu; vnorenie je širšia reprezentácia určená aj na porovnávanie a predikciu.

Ako sa výsledok kontroluje?

Meria sa recall vo vyhľadávaní, poradie relevantných párov, výkon sond, stabilita verzií a správanie podľa jazykov či skupín.

Na čo si dať pozor?

Kosínusová blízkosť môže spájať objekty z nesprávneho dôvodu; vektor môže uchovávať citlivé atribúty a meniť sa s verziou modelu.