Presná definícia
Čo znamená reziduálne spojenie?
Reziduálne spojenie nechá blok učiť reziduálnu funkciu F(x) a k jeho výstupu pripočíta vstup: y = F(x)+x, prípadne jeho projekciu. Vytvára krátku cestu pre aktivácie aj gradienty a uľahčuje optimalizáciu veľmi hlbokých sietí. Sčítanie vyžaduje kompatibilné tvary; pri zmene rozmeru alebo kanálov sa používa projekčné spojenie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri konvolučnom bloku sa hlavná vetva skladá z transformácií a skratka je identita. Ak sa zmení rozlíšenie alebo počet kanálov, skratka použije projekciu s rovnakým stride. Jednotkové testy kontrolujú oba tvary a správne sčítanie. Tím porovná blok bez skratky pri podobnom počte parametrov a sleduje gradienty v skorých vrstvách. Poloha aktivácie a normalizácie sa zachová podľa konkrétneho variantu ResNet.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Aký je základný tvar?
Výstup bloku F(x) plus vstup x.
Čo ak rozmery nesedia?
Skratka použije projekciu alebo iné zladenie tvaru.
Prečo pomáha?
Poskytuje kratšiu derivačnú cestu s identitným príspevkom.
Má identitná skratka váhy?
Nie; projekčná ich môže mať.
Je poradie vrstiev vždy rovnaké?
Nie, existujú post-activation a pre-activation bloky.