Presná definícia
Čo znamená grafová sieť pozornosti?
Grafová sieť pozornosti aktualizuje uzol váženou kombináciou reprezentácií susedov, pričom váhy vznikajú naučenou kompatibilitou cieľového a susedného uzla. Softmax sa vykonáva iba nad povoleným okolím; viac hláv môže stabilizovať učenie alebo rozšíriť reprezentáciu. Mechanizmus nemení samotné hrany grafu, ale diferencuje ich príspevok pre konkrétnu vrstvu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
GAT sa hodí, keď nie všetci susedia majú rovnakú relevanciu, napríklad v citačnej alebo interakčnej sieti. Implementácia musí maskovať neexistujúce hrany pred softmaxom a osobitne riešiť izolované uzly a self-loop. Pri veľkých stupňoch rastie cena výpočtu; vzorkovanie susedov môže pozornosť skresliť. Váhy sa nemajú vydávať za dôkaz vplyvu bez testu odstránenia alebo zámeny príslušných hrán.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Od čoho závisí príspevok suseda?
Od naučeného skóre dvojice cieľového a susedného uzla.
Kde prebieha softmax?
Nad susedmi daného cieľového uzla v príslušnej hlave.
Ako sa spájajú?
Vo vnútorných vrstvách často zreťazením, vo výstupe aj priemerom.
Čo s uzlom bez susedov?
Treba self-loop alebo explicitné pravidlo pre prázdnu agregáciu.
Je vysoká pozornosť príčinnosť?
Nie; význam hrany sa overuje intervenciou a zmenou výstupu.