Slovník výrazov AI/Multimodálna AI

Multimodálna AI

vynechávanie modality

Anglický výraz modality dropout

špecializovanéheslo č. 8505 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená vynechávanie modality?

Vynechávanie modality je tréningová regularizácia, pri ktorej sa celá vstupná modalita alebo jej reprezentácia náhodne odstráni, aby model nebol závislý od stále kompletnej kombinácie. Pravdepodobnosť vynechania má simulovať reálne výpadky; nejde o bežný dropout jednotlivých neurónov.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Model odporúčania sa trénuje aj bez obrázka produktu alebo bez textového opisu, pretože produkčné záznamy bývajú neúplné. Tím nastaví pravdepodobnosti podľa reálnych chýbaní a osobitne testuje každú kombináciu. Chýbajúci údaj sa nikdy nezamení za skutočnú nulu.

Overiteľnosť

Odborné zdroje

  1. Wang et al. - LRMM: Learning to Recommend with Missing Modalitiesarxiv.org
  2. Wu et al. - Deep Multimodal Learning with Missing Modality: A Surveyarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje vynechávanie modality?

Počas tréningu maska vynuluje alebo nahradí celý modalitný vstup a model sa učí predikovať zo zostávajúcich zdrojov.

Kedy má vynechávanie modality praktický význam?

Model odporúčania sa trénuje aj bez obrázka produktu alebo bez textového opisu, pretože produkčné záznamy bývajú neúplné.

S čím si pojem nezamieňať?

Štandardný dropout odstraňuje jednotlivé aktivácie; modality dropout vypína ucelený informačný kanál so všetkými jeho príznakmi.

Ako sa výsledok kontroluje?

Meria sa výkon pri plných aj chýbajúcich vstupoch, kalibrácia, dominancia modalít, citlivosť pravdepodobnosti masky a realistické vzory chýbania.

Na čo si dať pozor?

Príliš časté vynechávanie zníži využitie komplementárnych dát a nereálny vzor maskovania pripraví model na iné výpadky, než nastanú v praxi.