Slovník výrazov AI/Multimodálna AI

Multimodálna AI

priestorové ukotvenie

Anglický výraz spatial grounding

pokročiléheslo č. 8385 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená priestorové ukotvenie?

Priestorové ukotvenie viaže jazykové pojmy alebo inštrukcie na konkrétne polohy a vzťahy v dvojrozmernom či trojrozmernom priestore. Výstup môže byť bod, región, maska, objekt alebo súradnice. Správnosť závisí od referenčnej sústavy a pohľadu pozorovateľa.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Robot dostane pokyn „polož balík na voľné miesto za žltou čiarou“. Systém zobrazí cieľ v mape a overí, z ktorého smeru sa počíta „za“. Pred pohybom skontroluje prekážky a pri nejednoznačnosti si vypýta doplnenie.

Overiteľnosť

Odborné zdroje

  1. Xiao et al. - Towards Visual Grounding: A Surveyarxiv.org
  2. Girdhar et al. - ImageBind: One Embedding Space To Bind Them Allarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje priestorové ukotvenie?

Jazykový výraz sa spojí s mapou alebo vizuálnymi tokenmi a model predikuje priestorovú distribúciu či objekt v definovanej súradnicovej sústave.

Kedy má priestorové ukotvenie praktický význam?

Robot dostane pokyn „polož balík na voľné miesto za žltou čiarou“.

S čím si pojem nezamieňať?

Visual grounding môže lokalizovať objekt v obraze; spatial grounding výslovne rieši aj polohu, orientáciu a priestorové vzťahy podľa referenčného rámca.

Ako sa výsledok kontroluje?

Meria sa IoU alebo vzdialenosť, presnosť vzťahov, zmena pohľadu, 3D lokalizácia, nejednoznačnosť a úspech následnej akcie.

Na čo si dať pozor?

Neurčený referenčný rámec môže obrátiť ľavú a pravú stranu a presný bod v obraze nemusí byť bezpečným cieľom v reálnom priestore.