Slovník výrazov AI/Multimodálna AI

Multimodálna AI

multimodálna umelá inteligencia

Anglický výraz multimodal artificial intelligence

základnéheslo č. 8015 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená multimodálna umelá inteligencia?

Multimodálna umelá inteligencia označuje systémy, ktoré spracúvajú, prepájajú alebo vytvárajú najmenej dve odlišné modality, napríklad text, obraz, zvuk či senzorové merania. Podstatná je práca so vzťahmi medzi modalitami, nie iba prijatie viacerých súborov.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri likvidácii poistnej udalosti systém spojí fotografiu poškodenia, opis klienta a údaje z formulára, aby pripravil podklady pre pracovníka. Každý vstup sa eviduje so zdrojom, chýbajúca modalita sa testuje osobitne a rozhodnutie s právnym alebo finančným účinkom zostáva na oprávnenej osobe.

Overiteľnosť

Odborné zdroje

  1. Baltrušaitis et al. - Multimodal Machine Learning: A Survey and Taxonomyarxiv.org
  2. Li et al. - Multimodal Alignment and Fusion: A Surveyarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje multimodálna umelá inteligencia?

Špecializované enkódery prevedú vstupy na reprezentácie, ktoré sa zarovnajú alebo zlúčia; spoločný modul potom predikuje výsledok či riadi generovanie.

Kedy má multimodálna umelá inteligencia praktický význam?

Pri likvidácii poistnej udalosti systém spojí fotografiu poškodenia, opis klienta a údaje z formulára, aby pripravil podklady pre pracovníka.

S čím si pojem nezamieňať?

Multimediálna aplikácia môže iba zobrazovať text aj video; multimodálna AI sa z ich vzťahu učí alebo ho využíva pri inferencii.

Ako sa výsledok kontroluje?

Porovnáva sa výkon každej modality samostatne, ich kombinácie, prípadov s chýbajúcim vstupom, kalibrácia a výsledok na cieľovej úlohe.

Na čo si dať pozor?

Jedna dominantná modalita môže prekryť ostatné, takže systém pôsobí multimodálne, ale pri rozhodovaní ignoruje dôležitý dôkaz.