Slovník výrazov AI/Multimodálna AI

Multimodálna AI

generovanie odkazovacích výrazov

Anglický výraz referring expression generation

pokročiléheslo č. 8245 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená generovanie odkazovacích výrazov?

Generovanie odkazovacích výrazov vytvára jazykový opis, ktorý má adresátovi jednoznačne identifikovať zvolený objekt medzi alternatívami. Kvalitný výraz je pravdivý, dostatočne rozlišujúci a primerane stručný; nie je to všeobecný titulok celej scény.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Asistenčná aplikácia označí súčiastku vetou „strieborná skrutka vedľa červeného kábla“. Pred zobrazením overí, že opis sedí na cieľ a nepasuje na iný objekt. Používateľ môže zvoliť jednoduchší opis a systém sa vyhne citlivým opisom osôb.

Overiteľnosť

Odborné zdroje

  1. Xiao et al. - Towards Visual Grounding: A Surveyarxiv.org
  2. Liu et al. - Visual Instruction Tuningarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje generovanie odkazovacích výrazov?

Generátor dostane cieľový región, kontext a rušivé objekty a dekóduje atribúty alebo vzťahy, ktoré cieľ odlišujú.

Kedy má generovanie odkazovacích výrazov praktický význam?

Asistenčná aplikácia označí súčiastku vetou „strieborná skrutka vedľa červeného kábla“.

S čím si pojem nezamieňať?

Referring expression comprehension ide od opisu k objektu; referring expression generation ide od určeného objektu k rozlišujúcemu opisu.

Ako sa výsledok kontroluje?

Hodnotí sa úspešnosť identifikácie poslucháčom, pravdivosť, jednoznačnosť, dĺžka, prirodzenosť a pokrytie relevantných kontrastov.

Na čo si dať pozor?

Plynulý opis môže uviesť nepravdivý atribút, zbytočne spomenúť osobnú črtu alebo zostať nejednoznačný pre aktuálnu scénu.