Presná definícia
Čo znamená architektúra enkóder-dekóder?
Architektúra enkóder-dekóder rozdeľuje model na časť, ktorá vstup prevedie na latentnú reprezentáciu, a časť, ktorá z nej vytvorí cieľový výstup. Reprezentáciou môže byť jediný vektor, sekvencia stavov alebo viacúrovňové mapy; dekóder ju číta priamo, cez pozornosť alebo cez preskočené spojenia. Pojem opisuje rozhranie dvoch častí, nie jednu konkrétnu neurónovú vrstvu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Schéma sa používa pri preklade, sumarizácii, segmentácii aj rekonštrukcii. Návrh musí určiť tvar a informačnú kapacitu rozhrania, spôsob podmieňovania dekódera a tréningovú stratu. Ak jediný vektor tvorí úzke hrdlo, dlhé vstupy sa môžu zle preniesť; pozornosť alebo skip spojenia tento tlak zmierňujú. Pri generovaní sa navyše testuje rozdiel medzi tréningom s pravými predchádzajúcimi tokenmi a inferenciou s vlastnými výstupmi.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo prechádza z enkódera?
Latentný kód, postupnosť stavov alebo viac mierok príznakov.
Kedy vzniká?
Keď musí celý vstup prejsť cez príliš malú pevnú reprezentáciu.
Čo mení?
Dekóder môže v každom kroku vybrať relevantné časti výstupu enkódera.
Prečo sa používajú v obraze?
Prenášajú jemné priestorové detaily priamo do zodpovedajúcej časti dekódera.
Je autoenkóder to isté?
Je osobitný prípad, v ktorom cieľom býva rekonštrukcia vstupu.