Presná definícia
Čo znamená krížovo-modálne vyhľadávanie?
Krížovo-modálne vyhľadávanie prijíma dopyt v jednej modalite a zoradí položky inej modality podľa naučenej významovej zhody, napríklad text proti obrázkom alebo zvuk proti videám. Systém zvyčajne porovnáva vnorenia, no môže výsledky dodatočne preskórovať spoločným modelom.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Redaktor zadá vetu opisujúcu scénu a vyhľadá licencované fotografie bez ručných kľúčových slov. Výsledky obsahujú zdroj, licenciu a skóre, ktoré sa interpretuje iba ako poradie. Test relevantnosti je v slovenčine a zahŕňa synonymá aj zavádzajúce pozadie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje krížovo-modálne vyhľadávanie?
Dopytový enkóder vytvorí vektor, index vyberie najbližších kandidátov z druhej modality a voliteľný cross-encoder ich presnejšie zoradí.
Kedy má krížovo-modálne vyhľadávanie praktický význam?
Redaktor zadá vetu opisujúcu scénu a vyhľadá licencované fotografie bez ručných kľúčových slov.
S čím si pojem nezamieňať?
Bežné vyhľadávanie porovnáva rovnaký typ reprezentácie alebo metadata; cross-modal retrieval vytvára most medzi odlišnými modalitami.
Ako sa výsledok kontroluje?
Hodnotí sa recall@k, median rank, nDCG, latencia indexu, obojsmernosť, výkon hard negatives a ľudská relevancia.
Na čo si dať pozor?
Sémantická blízkosť môže uprednostniť všeobecnú scénu pred konkrétnym detailom a nevyvážený dataset znevýhodní menej časté pojmy.