Slovník výrazov AI/Multimodálna AI

Multimodálna AI

ukotvenie frázy

Anglický výraz phrase grounding

pokročiléheslo č. 8225 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená ukotvenie frázy?

Ukotvenie frázy priraďuje pomenovacím frázam vo vete zodpovedajúce vizuálne regióny. Jedna veta môže obsahovať viac entít a nie každá fráza musí byť na obraze lokalizovateľná. Výsledok zachytáva väzbu fráza-región, nie iba globálnu podobnosť obrázka a titulku.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri kontrole produktovej fotografie systém prepojí frázy „čierny kábel“, „ľavý konektor“ a „štítok CE“ s regiónmi. Editor vidí neukotvené frázy a rozhodne, či opis treba opraviť. Eval hodnotí aj abstraktné alebo na snímke chýbajúce výrazy.

Overiteľnosť

Odborné zdroje

  1. Xiao et al. - Towards Visual Grounding: A Surveyarxiv.org
  2. Radford et al. - Learning Transferable Visual Models From Natural Language Supervisionarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje ukotvenie frázy?

Model rozdelí vetu na frázy, vytvorí kandidátne regióny a spoločným skóre vyberie jednu či viac lokalizácií pre každý výraz.

Kedy má ukotvenie frázy praktický význam?

Pri kontrole produktovej fotografie systém prepojí frázy „čierny kábel“, „ľavý konektor“ a „štítok CE“ s regiónmi.

S čím si pojem nezamieňať?

Referring expression comprehension zvyčajne hľadá jeden cieľ podľa rozlišujúceho výrazu; phrase grounding môže ukotviť viac fráz z celého opisu.

Ako sa výsledok kontroluje?

Kontroluje sa recall@k pri IoU, správnosť väzieb, pokrytie fráz, nulové ukotvenie pri absencii a výkon na vzťahoch.

Na čo si dať pozor?

Časté podstatné mená sa môžu priradiť k nesprávnej inštancii a abstraktné frázy nútia model vyrábať neexistujúci región.