Presná definícia
Čo znamená kontrastívne predtrénovanie jazyka a obrazu?
Kontrastívne predtrénovanie jazyka a obrazu učí obrazový a textový enkóder rozlišovať zodpovedajúce páry od nezhodných v spoločnom priestore. Strata zvyšuje podobnosť pozitívnych dvojíc a znižuje ju pri negatívoch v dávke; kvalita závisí od párovania a diverzity dát.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Organizácia predtrénuje model na licencovaných fotografiách s popismi a potom ho použije na vyhľadávanie. Deduplikácia zabráni, aby sa rovnaký obsah objavil v tréningu aj teste. Hodnotenie používa hard negatives, viacjazyčné dopyty a kontrolu citlivých atribútov.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje kontrastívne predtrénovanie jazyka a obrazu?
Dva enkódery produkujú normalizované vektory a symetrická kontrastívna strata klasifikuje správny text ku každému obrazu aj správny obraz ku každému textu.
Kedy má kontrastívne predtrénovanie jazyka a obrazu praktický význam?
Organizácia predtrénuje model na licencovaných fotografiách s popismi a potom ho použije na vyhľadávanie.
S čím si pojem nezamieňať?
Klasifikácia učí pevné triedy; contrastive language-image pretraining získava dohľad zo vzťahu párov a podporuje otvorené textové dopyty.
Ako sa výsledok kontroluje?
Kontroluje sa retrieval recall, zero-shot transfer, teplota a kalibrácia podobnosti, kvalita negatívov, deduplikácia a bias.
Na čo si dať pozor?
Nepravé negatívy môžu odtlačiť správne synonymné páry a webové popisy prenášajú nepresnosti, stereotypy aj autorskoprávne riziká.