Presná definícia
Čo znamená diaľničná sieť?
Diaľničná sieť je hlboká dopredná architektúra s naučenou transformačnou bránou a prenosovou cestou. Vrstva mieša nelineárne transformovaný vstup s priamo preneseným vstupom, pričom brána určuje ich podiel; často sa používa viazaná prenosová brána 1-T. Táto cesta uľahčuje tok informácie a gradientu cez veľa vrstiev a predchádzala reziduálnym sieťam.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri reprodukcii sa diaľničný blok používa tam, kde sú vstup a výstup rovnakej šírky, alebo sa pridá projekcia. Bias transformačnej brány sa často inicializuje tak, aby spočiatku uprednostnil prenos, čím hlboký model začína bližšie k identite. Tím sleduje saturáciu brán a porovnáva s jednoduchým reziduálnym súčtom; ak brány zostanú stále otvorené alebo zatvorené, dodatočné parametre nemusia priniesť hodnotu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Aká je základná myšlienka?
Výstup kombinuje transformovanú vetvu H(x) a prenesený vstup x.
Čo určuje T(x)?
Podiel nelineárnej transformácie pre každý prvok reprezentácie.
Prečo pomáha hĺbke?
Poskytuje krátku cestu pre informáciu a gradient.
Prečo záporný bias T?
Na začiatku zvýhodní takmer identický prenos cez vrstvu.
Čím sa líši od ResNet?
Highway váži vetvy naučenou bránou, ResNet ich typicky sčíta bez nej.