Presná definícia
Čo znamená husté spojenie?
Husté spojenie v DenseNet architektúre pripája výstup každej vrstvy ku všetkým nasledujúcim vrstvám v danom bloku konkatenáciou po kanálovej osi. Každá vrstva tak dostáva pôvodné aj všetky predchádzajúce príznaky; počet nových kanálov určuje rastový faktor. Pojem sa nemá zamieňať s plne prepojenou vrstvou, ktorá sa tiež niekedy nazýva dense layer.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri návrhu dense bloku sa explicitne vypočíta počet kanálov po každej konkatenácii a rastový faktor sa zvolí podľa pamäte. Úzke 1×1 projekcie môžu znížiť cenu pred drahšou konvolúciou. Testy overia poradie konkatenovaných máp a prechodové vrstvy medzi blokmi. Tím meria nielen presnosť, ale aj špičkovú pamäť, pretože uchovávanie mnohých aktivácií môže byť limitujúce.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako sa výstupy spájajú?
Konkatenáciou, nie sčítaním.
Kam ide výstup vrstvy?
Do všetkých ďalších vrstiev toho istého dense bloku.
Čo je growth rate?
Počet nových kanálov, ktoré každá vrstva pridá.
Je to plne prepojená vrstva?
Nie, ide o topológiu spojení DenseNet.
Čo môže rásť?
Počet kanálov a pamäť pre aktivácie.