Presná definícia
Čo znamená vyhľadávanie obrazu podľa textu?
Vyhľadávanie obrazu podľa textu je smer krížovo-modálneho vyhľadávania, v ktorom textový dopyt zoradí obrázky podľa sémantickej zhody. Model nemá iba nájsť rovnaké slová v metadátach; hodnotí vizuálny obsah, vzťahy a atribúty zachytené spoločným tréningom.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Dizajnér hľadá „modrý bicykel opretý pri tehlovej stene“ v internej fotobanke. Systém vráti náhľady s licenciou a umožní filtrovať dátum a autora. Test samostatne meria farbu, počet objektov, vzťahy a slovenské skloňovanie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje vyhľadávanie obrazu podľa textu?
Textový enkóder mapuje dopyt do spoločného priestoru a približné vyhľadávanie susedov zoradí predpočítané obrazové vektory.
Kedy má vyhľadávanie obrazu podľa textu praktický význam?
Dizajnér hľadá „modrý bicykel opretý pri tehlovej stene“ v internej fotobanke.
S čím si pojem nezamieňať?
Textové vyhľadávanie v popisoch závisí od anotácií; image-text retrieval môže nájsť vizuálny obsah aj bez presného ručného tagu.
Ako sa výsledok kontroluje?
Kontroluje sa recall@k, nDCG, presnosť atribútov a vzťahov, viacjazyčnosť, latencia a kvalita výsledkov mimo tréningovej domény.
Na čo si dať pozor?
Model môže ignorovať negáciu alebo počet a vrátiť esteticky podobný obraz, ktorý nespĺňa rozhodujúcu časť dopytu.