Slovník výrazov AI/Architektúry hlbokého učenia

Architektúry hlbokého učenia

DenseNet

Anglický výraz DenseNet

pokročiléheslo č. 3385 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená DenseNet?

DenseNet je konvolučná architektúra, v ktorej každá vrstva v hustom bloku prijíma zreťazené mapy všetkých predchádzajúcich vrstiev a svoje nové mapy pridá pre ďalšie vrstvy. Parameter growth rate určuje, koľko kanálov každá vrstva doplní. Priame prepojenia podporujú opätovné použitie príznakov a tok gradientu, no zreťazovanie zvyšuje počet aktivácií v pamäti.

Skúsenosť a kontext

Ako sa pojem používa v praxi

DenseNet sa používa ako obrazový backbone, najmä keď je cenné zdieľanie nízko- a vysokoúrovňových príznakov. Tím nastaví počet vrstiev v blokoch, growth rate a kompresiu prechodových vrstiev. Profilovanie musí merať nielen parametre, ale aj pamäť aktivácií a priepustnosť; malý počet váh neznamená lacné spúšťanie. Pri prenose sa kontroluje rozlíšenie máp a názvy blokov, aby sa váhy správne priradili.

Overiteľnosť

Odborné zdroje

  1. Huang et al. · DenseNetopenaccess.thecvf.com
  2. He et al. · Deep residual learningopenaccess.thecvf.com

Praktické odpovede

Často kladené otázky

Ako dostane vrstva staršie príznaky?

Zreťazením všetkých predchádzajúcich výstupov po kanálovej osi.

Čo označuje?

Počet nových máp príznakov, ktoré jedna vrstva pridá.

Na čo slúži transition layer?

Mení počet kanálov a zmenšuje priestorové rozlíšenie medzi blokmi.

Prečo môže byť vysoká?

Mnohé skoré aktivácie sa uchovávajú pre neskoršie zreťazenie.

DenseNet alebo ResNet?

Prvý zreťazuje všetky staršie mapy, druhý zvyčajne sčíta reziduálnu vetvu s kratším skipom.