Slovník výrazov AI/Multimodálna AI

Multimodálna AI

vyhľadávanie textu podľa obrazu

Anglický výraz text-image retrieval

základnéheslo č. 8135 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená vyhľadávanie textu podľa obrazu?

Vyhľadávanie textu podľa obrazu používa obrázok ako dopyt a zoradí textové popisy, dokumenty alebo štítky podľa významovej zhody. V rovnakom spoločnom priestore ide o opačný smer než textom riadené hľadanie obrázkov, preto môže mať inú náročnosť aj metriky.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Technik odfotí súčiastku a systém vyhľadá relevantné odseky servisných príručiek. Kandidáty sa obmedzia na správny typ stroja a verziu dokumentácie; pred použitím sa overí číslo dielu. Eval zahŕňa podobne vyzerajúce, ale nekompatibilné komponenty.

Overiteľnosť

Odborné zdroje

  1. Mithun et al. - Webly Supervised Joint Embedding for Cross-Modal Image-Text Retrievalarxiv.org
  2. Radford et al. - Learning Transferable Visual Models From Natural Language Supervisionarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje vyhľadávanie textu podľa obrazu?

Obrazový enkóder vytvorí dopytový vektor a porovná ho s indexom textových vektorov; preskórovanie môže spoločne čítať obrázok aj kandidátny text.

Kedy má vyhľadávanie textu podľa obrazu praktický význam?

Technik odfotí súčiastku a systém vyhľadá relevantné odseky servisných príručiek.

S čím si pojem nezamieňať?

OCR hľadá text viditeľný v obraze; text-image retrieval môže nájsť opis objektu aj vtedy, keď na fotografii nie je žiadny nápis.

Ako sa výsledok kontroluje?

Meria sa recall@k, MRR, presnosť verzie dokumentu, robustnosť uhla a pozadia, latencia a ľudsky overená užitočnosť.

Na čo si dať pozor?

Vizuálna podobnosť môže spojiť nesprávny model zariadenia s návodom a chýbajúce metadata vytvoria bezpečnostne neplatný výsledok.