Presná definícia
Čo znamená krížová pozornosť?
Krížová pozornosť počíta dopyty z jednej množiny reprezentácií a kľúče s hodnotami z inej. Cieľová pozícia tak vyberá informáciu zo zdrojovej modality, sekvencie alebo vrstvy bez toho, aby mali obe strany rovnakú dĺžku. V transformátorovom dekóderi napríklad dopyty vznikajú z rozpracovaného výstupu a kľúče s hodnotami z výstupu enkódera.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa na viazanie textu s obrazom, otázky s dokumentom alebo dekódera s enkódovaným vstupom. Implementácia musí oddeliť masku zdroja od kauzálnej masky cieľa a sledovať tvary Q oproti K,V. Pri viacmodalitnom modeli sa overuje, či výstup skutočne reaguje na zmenu zdroja: zamieňanie obrázkov, nulovanie regiónov či kontrafaktuálne páry odhalia ignorovanie modality lepšie než samotná vizualizácia váh.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Odkiaľ pochádzajú Q a K,V?
Q z cieľovej reprezentácie, K a V zo zdrojovej.
Musia mať obe strany rovnaký počet prvkov?
Nie; matica skóre má rozmery cieľ × zdroj.
Kde je v prekladovom transformátore?
Medzi maskovanou sebapozornosťou dekódera a jeho doprednou sieťou.
Ktoré pozície sa zakazujú?
Neplatné zdrojové položky, napríklad padding; kauzalita patrí najmä cieľovej sebapozornosti.
Ako zistiť, že model zdroj ignoruje?
Zmeniť alebo zamaskovať zdroj a merať zmenu výstupu či výkonu.