Slovník výrazov AI/Multimodálna AI

Multimodálna AI

modalita

Anglický výraz modality

základnéheslo č. 8025 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená modalita?

Modalita je typ informačného signálu s vlastnou štruktúrou, spôsobom snímania a štatistickými vlastnosťami, napríklad prirodzený jazyk, obrazové pixely, zvuková vlna alebo časový rad zo senzora. Formát súboru modalitu neurčuje: PNG a JPEG sú dva formáty tej istej obrazovej modality.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri návrhu datasetu tím neoznačí PDF automaticky za jednu modalitu. Rozdelí ho na text, rozloženie stránky a obrazové prvky, pri každej vrstve uvedie pôvod, kvalitu a pravidlá spracovania. Vďaka tomu možno zistiť, ktorá informácia skutočne zlepšila model.

Overiteľnosť

Odborné zdroje

  1. Baltrušaitis et al. - Multimodal Machine Learning: A Survey and Taxonomyarxiv.org
  2. Girdhar et al. - ImageBind: One Embedding Space To Bind Them Allarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje modalita?

Každá modalita sa vzorkuje a kóduje spôsobom vhodným pre jej geometriu a časové či priestorové závislosti.

Kedy má modalita praktický význam?

Pri návrhu datasetu tím neoznačí PDF automaticky za jednu modalitu.

S čím si pojem nezamieňať?

Kanál je konkrétna cesta prenosu alebo snímač; modalita je druh reprezentovanej informácie a môže prichádzať viacerými kanálmi.

Ako sa výsledok kontroluje?

Kontroluje sa definícia jednotky pozorovania, časová a priestorová synchronizácia, metadáta, chýbajúce hodnoty a distribúcia každej modality.

Na čo si dať pozor?

Nejasné hranice medzi modalitami vedú k úniku informácií a k nesprávnym tvrdeniam o tom, čo model dokáže bez pomocných dát.