Presná definícia
Čo znamená ResNet?
ResNet je sieť z reziduálnych blokov, ktoré sa učia zvyškovú funkciu F(x) a k nej pripočítajú skratkovú cestu x. Ak sa rozmery líšia, skratka môže obsahovať projekciu. Identitná cesta uľahčuje optimalizáciu veľmi hlbokých modelov tým, že poskytuje priamy tok aktivácií a gradientov; nejde však o automatickú ochranu pred každou nestabilitou.
Skúsenosť a kontext
Ako sa pojem používa v praxi
ResNet sa používa ako štandardný backbone pre klasifikáciu, detekciu a segmentáciu. Pri implementácii sa presne dodrží poradie konvolúcie, normalizácie a aktivácie a overí sa projekcia pri zmene kanálov alebo stride. Tím profiluje jednotlivé stupne a pri dolaďovanieu rozhodne, ktoré bloky zmrazí. Porovnanie rôznych hĺbok musí zohľadniť šírku a rozlíšenie; preskočené spojenie zlepšuje učenie, ale väčšia hĺbka stále zvyšuje cenu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo sa blok učí?
Korekciu F(x), ktorá sa pripočíta k skratkovej reprezentácii.
Kedy možno použiť čisté x?
Keď majú vstup a reziduálna vetva zhodný tvar.
Prečo je potrebná?
Zladí počet kanálov alebo priestorové rozmery pred sčítaním.
Ako pomáha skip cesta?
Vytvára kratšiu derivačnú cestu cez hlbokú sieť.
Je každý ResNet blok rovnaký?
Nie; existujú basic a bottleneck bloky aj pre-activation usporiadania.