Presná definícia
Čo znamená titulkovanie obrazu?
Titulkovanie obrazu generuje prirodzený jazyk opisujúci vybrané prvky a vzťahy v snímke. Spája vizuálny enkóder s jazykovým dekóderom a musí rozhodnúť, čo spomenie. Plynulý titulok môže pridať objekt alebo vlastnosť, ktorú obraz nepodporuje.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Redakčný systém navrhne alternatívny text fotografie, no autor skontroluje osoby, počty, smerovanie a účel obrázka. Model dostane slovník názvov z článku a nesmie hádať identitu. Eval kombinuje podobnosť s referenciami, pokrytie objektov a ľudskú kontrolu faktov.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje titulkovanie obrazu?
Enkóder vytvorí vizuálne tokeny a autoregresívny dekóder generuje slová podmienené obrazom a predchádzajúcim textom.
Kedy má titulkovanie obrazu praktický význam?
Redakčný systém navrhne alternatívny text fotografie, no autor skontroluje osoby, počty, smerovanie a účel obrázka.
S čím si pojem nezamieňať?
Klasifikácia vráti štítky; image captioning vytvára vetu s výberom detailov a jazykovými vzťahmi.
Ako sa výsledok kontroluje?
Hodnotí sa CIDEr alebo SPICE, pokrytie dôležitých prvkov, halucinácie, čitateľnosť a vhodnosť pre účel.
Na čo si dať pozor?
Model môže domyslieť činnosť, identitu alebo stereotypnú vlastnosť a vynechať informáciu podstatnú pre prístupnosť.