Presná definícia
Čo znamená mechanizmus pozornosti?
Mechanizmus pozornosti vytvára kontext ako váženú kombináciu hodnôt podľa zhody dopytu s kľúčmi. Skóre zhody sa prevedú na váhy, často softmaxom, takže model môže pre každý výstupný krok zdôrazniť inú časť vstupu. Pozornosť je diferencovateľné smerovanie informácie; samotné váhy však nie sú automaticky príčinným vysvetlením rozhodnutia.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V enkóder-dekóderi sa dopyt dekódera porovnáva so stavmi enkódera a získaný kontext pomáha vytvoriť ďalší výstup. Pri obraze môže podobne spájať textové tokeny s vizuálnymi príznakmi. Implementácia kontroluje masky paddingu a budúcnosti, mierku skóre a numerickú stabilitu softmaxu. Na interpretáciu sa váhy používajú iba ako diagnostický signál a dopĺňajú sa intervenčnými alebo atribučno-gradientovými testami.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo sú dopyt, kľúč a hodnota?
Dopyt určuje potrebu, kľúč adresuje položku a hodnota nesie kombinovaný obsah.
Musia sa sčítať na jeden?
Pri softmaxovej pozornosti áno v rámci povolených položiek.
Čo robí?
Zakáže padding alebo budúce pozície ešte pred normalizáciou skóre.
Od čoho závisí výpočet?
Od počtu porovnaní medzi dopytmi a kľúčmi a ich rozmeru.
Dokazuje vysoká váha príčinu rozhodnutia?
Nie; je to interné váženie, ktoré treba overiť ďalšími metódami.