Presná definícia
Čo znamená krížovo-modálna pozornosť?
Krížovo-modálna pozornosť je mechanizmus, v ktorom dotazy vytvorené z jednej modality vážia kľúče a hodnoty z inej modality. Umožňuje podmieniť textové tokeny obrazovými regiónmi alebo naopak a vytvára dynamické väzby podľa konkrétneho vstupu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Model odpovedajúci na otázku o diagrame nechá tokeny otázky venovať pozornosť relevantným vizuálnym prvkom. Pri audite sa pozornosť neprezentuje ako úplné vysvetlenie; správnosť sa overí zmenou alebo zakrytím označeného regiónu a kontrolou odpovede.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje krížovo-modálna pozornosť?
Skalárne súčiny query a key určia normalizované váhy, ktorými sa sčítajú value vektory druhej modality pre každý dotaz.
Kedy má krížovo-modálna pozornosť praktický význam?
Model odpovedajúci na otázku o diagrame nechá tokeny otázky venovať pozornosť relevantným vizuálnym prvkom.
S čím si pojem nezamieňať?
Self-attention prepája tokeny v jednej sekvencii; cross-modal attention vedome vedie dotazy a zdroj hodnôt z odlišných modalít.
Ako sa výsledok kontroluje?
Kontrolujú sa intervenčné testy regiónov, alignment, výkon bez jednej vetvy, stabilita váh, výpočtová náročnosť a výsledná úloha.
Na čo si dať pozor?
Váhy pozornosti môžu byť difúzne alebo nesúvisiace s kauzálnym dôkazom a veľké tokenové mriežky výrazne zvyšujú pamäť.