Presná definícia
Čo znamená vnorovacia vrstva?
Vnorovacia vrstva mapuje diskrétny index na trénovateľný hustý vektor vyhľadaním príslušného riadka v matici vnorovaní. Je ekvivalentná násobeniu one-hot vektora maticou, no bez tvorby riedkeho one-hot vstupu. Geometria vektorov vzniká z tréningovej úlohy; blízkosť preto vyjadruje štatistické použitie modelu, nie automaticky pravdivú sémantiku.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tokeny alebo kategórie sa najprv mapujú stabilným slovníkom na indexy vrátane rezervy pre neznámu a výplňovú hodnotu. Paddingový riadok sa podľa potreby nezmení gradientom. Tím kontroluje rozsah indexov, frekvencie a normy vnorovaní; nové kategórie sa nesmú ticho priradiť existujúcim indexom. Pri exporte sa ukladá matica aj presný slovník, inak sú vektory bez významu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo vrstva prijíma?
Celočíselné indexy, nie priamo ľubovoľné texty.
Čo vracia?
Riadok alebo skupinu riadkov z matice hustých vektorov.
Prečo je efektívnejšia?
Vyhľadá riadok bez tvorby veľkého riedkeho vektora.
Čo je padding index?
Vyhradený riadok, ktorý možno vylúčiť z aktualizácií.
Zaručuje blízkosť rovnaký význam?
Nie, odráža cieľ a dáta tréningu.