Presná definícia
Čo znamená multimodálny model?
Multimodálny model je parametrický model navrhnutý na vstup, výstup alebo spoločné reprezentovanie viacerých modalít. Môže používať samostatné enkódery, spoločné tokeny či jeden generatívny dekóder; označenie samo neznamená, že všetky modality spracúva rovnako presne.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Asistent údržby prijíma fotografiu stroja a otázku technika. Pred nasadením sa osobitne testuje čítanie štítkov, rozpoznanie súčiastky a odpoveď založená na oboch vstupoch. Keď obraz neobsahuje potrebný detail, model má požiadať o inú snímku namiesto domýšľania chyby.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje multimodálny model?
Enkódery prevedú jednotlivé vstupy na tokeny alebo vektory a fúzny či generatívny blok nad nimi vytvorí spoločný výstup.
Kedy má multimodálny model praktický význam?
Asistent údržby prijíma fotografiu stroja a otázku technika.
S čím si pojem nezamieňať?
Unimodálny model môže mať viac vstupných polí rovnakého typu; multimodálny model pracuje s rozdielnymi reprezentáciami, napríklad obrazom a textom.
Ako sa výsledok kontroluje?
Meria sa kvalita na úlohách každej modality, krížovo-modálne úlohy, ablačný prínos vstupov, odolnosť voči šumu a kalibrácia neistoty.
Na čo si dať pozor?
Model môže odpovedať podľa jazykového stereotypu aj vtedy, keď obraz poskytuje opačný dôkaz, alebo zlyhať pri nezvyčajnej kombinácii vstupov.