Slovník výrazov AI/Multimodálna AI

Multimodálna AI

generovanie podmienené obrazom

Anglický výraz image-conditioned generation

pokročiléheslo č. 8265 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená generovanie podmienené obrazom?

Generovanie podmienené obrazom vytvára nový výstup, ktorého pravdepodobnosť závisí od vstupného obrazu. Výstup môže byť text, upravený obraz, zvuk alebo iná reprezentácia; podmienenie zachováva len vlastnosti, ktoré architektúra a tréning explicitne podporujú.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri tvorbe popisu produktu systém generuje text z fotografie a povinných katalógových polí. Farbu a viditeľné prvky overí proti obrazu, technické parametre čerpá iba z databázy. Editor schváli výsledok a neviditeľné vlastnosti sa nedopĺňajú odhadom.

Overiteľnosť

Odborné zdroje

  1. van den Oord et al. - Conditional Image Generation with PixelCNN Decodersarxiv.org
  2. Liu et al. - Visual Instruction Tuningarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje generovanie podmienené obrazom?

Obrazový enkóder alebo latentný kód vstupuje do dekódera cez konkatenáciu, pozornosť či adaptér a mení distribúciu generovaných tokenov alebo pixelov.

Kedy má generovanie podmienené obrazom praktický význam?

Pri tvorbe popisu produktu systém generuje text z fotografie a povinných katalógových polí.

S čím si pojem nezamieňať?

Text-to-image generation podmieňuje obraz textom; image-conditioned generation používa obraz ako podmienku a môže vytvárať aj neobrazový výstup.

Ako sa výsledok kontroluje?

Meria sa vernosť podmienke, zachovanie požadovaných prvkov, diverzita, faktickosť, ľudská kvalita a citlivosť na malé zmeny obrazu.

Na čo si dať pozor?

Generátor môže kopírovať náhodné pozadie, zmeniť identitu objektu alebo doplniť detaily, ktoré vstupný obraz nepotvrdzuje.