Slovník výrazov AI/Multimodálna AI

Multimodálna AI

časové ukotvenie

Anglický výraz temporal grounding

pokročiléheslo č. 8395 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená časové ukotvenie?

Časové ukotvenie priraďuje jazykový opis udalosti k začiatku, koncu alebo súboru intervalov v časovom signále, najčastejšie vo videu či audiu. Model musí odlíšiť podobné opakované udalosti a pracovať s mierkou od rámcov po dlhé epizódy.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Používateľ vyhľadá vo dvojhodinovom zázname moment, keď sa začala prezentácia rozpočtu. Systém vráti interval s krátkym kontextom pred a po a používateľ ho potvrdí. Eval sleduje opakované témy, neurčité opisy a presnosť hraníc.

Overiteľnosť

Odborné zdroje

  1. Liu et al. - Temporal Sentence Grounding in Videos: A Surveyarxiv.org
  2. Zhong et al. - Video Question Answering: Datasets, Algorithms and Challengesarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje časové ukotvenie?

Model porovná textový dopyt s časovými segmentmi, skóruje kandidátne okná alebo priamo regresuje ich hranice.

Kedy má časové ukotvenie praktický význam?

Používateľ vyhľadá vo dvojhodinovom zázname moment, keď sa začala prezentácia rozpočtu.

S čím si pojem nezamieňať?

Video retrieval vyberá celý klip z kolekcie; temporal grounding lokalizuje relevantný moment vo vnútri konkrétnej sekvencie.

Ako sa výsledok kontroluje?

Kontroluje sa recall pri rôznych temporal IoU, priemerné IoU, chyba hraníc, opakované udalosti, dĺžka videa a latencia.

Na čo si dať pozor?

Model môže nájsť tematicky podobný úsek, ale posunúť hranice tak, že vynechá rozhodujúci začiatok alebo následok.