Presná definícia
Čo znamená zosúladenie modalít?
Zosúladenie modalít je učenie alebo určovanie korešpondencie medzi prvkami rozdielnych modalít na úrovni celých príkladov, časových úsekov, slov, regiónov či udalostí. Môže byť explicitné zo značiek alebo latentné z párových dát a nemusí znamenať ich zlúčenie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri tréningu z videa a titulkov sa najprv overí časový posun a správna príslušnosť textu ku klipu. Model potom učí väzbu medzi vetou a relevantným intervalom. Eval rozlišuje správny obsah s chybným časom od úplne nezhodného páru.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje zosúladenie modalít?
Strata podobnosti, pozornosť alebo dynamické zarovnanie priradí jednotkám jednej modality zodpovedajúce jednotky druhej pri zachovaní poradia či kontextu.
Kedy má zosúladenie modalít praktický význam?
Pri tréningu z videa a titulkov sa najprv overí časový posun a správna príslušnosť textu ku klipu.
S čím si pojem nezamieňať?
Fusion kombinuje informácie na rozhodnutie; alignment najprv určuje, ktoré časti rôznych modalít si významovo alebo časovo zodpovedajú.
Ako sa výsledok kontroluje?
Meria sa presnosť párovania, temporal a spatial IoU, retrieval recall, citlivosť na posun, hard-negative výkon a kvalita anotácií.
Na čo si dať pozor?
Hrubé páry môžu obsahovať nesúvisiace časti, takže model sa naučí koreláciu dokumentov, nie presnú väzbu medzi slovom a dôkazom.