Presná definícia
Čo znamená Difúzne transformery?
Difúzne transformery (DiT) predstavujú generatívnu architektúru, ktorá nahrádza tradičné konvolučné siete U-Net v difúznych modeloch štandardnou architektúrou Transformer. Vstupné dáta (obrázky alebo videá) rozdeľuje na latentné patche (priestorové alebo časopriestorové tokeny), ktoré následne spracúva pomocou mechanizmov self-attention a cross-attention.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tvoria technický základ najmodernejších generátorov vizuálneho obsahu a videa vo vysokom rozlíšení (napr. OpenAI Sora, Stable Diffusion 3, FLUX.1), kde zabezpečujú vysokú sémantickú presnosť, škálovateľnosť a dodržiavanie složitých textových promptov.
Overiteľnosť
Odborné zdroje
- Peebles, W., & Xie, S. (2023). Scalable Diffusion Models with Transformers (DiT). International Conference on Computer Vision (ICCV 2023) / arXiv:2212.09748.arxiv.org
OpenAI (2024). Video generation models as world simulators (Sora Technical Report). OpenAI Research.
Praktické odpovede
Často kladené otázky
V čom sa DiT líši od tradičných difúznych modelov založených na U-Net?
Tradičný U-Net využíva konvolučné vrstvy, zatiaľ čo DiT staví výhradne na Transformer vrstvách, čo umožňuje lepšie využiť škálovateľné zákonitosti (scaling laws) známe z veľkých jazykových modelov.
Ako DiT spracúva obrazové a video dáta?
Obraz alebo video sa v latentnom priestore rozdelí na malé mriežky (patche), ktoré sa sploštia do sekvencie tokenov, podobne ako pri modeli Vision Transformer (ViT).
Prečo sú DiT modely mimoriadne úspešné pri generovaní videa?
Dokážu prirodzene spracúvať priestorové aj časové vzťahy medzi snímkami v rámci jedného sekvenčného pozornostného mechanizmu (space-time attention).
Akú úlohu hrá v architektúre DiT textové podmienenie (Text Conditioning)?
Textový prompt spracovaný jazykovým modelom sa do DiT vkladá prostredníctvom vrstiev cross-attention alebo adaptívnej normalizácie (AdaLN-Zero).
Sú DiT modely náročnejšie na trénovanie než siete U-Net?
Vyžadujú vyšší výpočtový výkon a pamäť VRAM, no ich trénovanie je stabilnejšie a kvalita výstupu rastie priamo úmerne s pridaným výpočtovým výkonom.