Slovník výrazov AI/Neurónové siete - stavebné prvky

Neurónové siete - stavebné prvky

preskočené spojenie

Anglický výraz skip connection

špecializovanéheslo č. 2925 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená preskočené spojenie?

Preskočené spojenie je všeobecná hrana, ktorá obíde jednu alebo viac vrstiev a prenesie skoršiu reprezentáciu do neskoršej časti siete. Kombinácia môže byť sčítanie, konkatenácia, brána alebo iná operácia. Reziduálne spojenie je konkrétny typ skip connection so sčítaním; nie každé preskočenie preto implementuje reziduálne učenie.

Skúsenosť a kontext

Ako sa pojem používa v praxi

V encoder-decoder sieti sa aktivácie z každej úrovne enkódera prenesú do zodpovedajúcej úrovne dekódera a spoja konkatenáciou. Testy kontrolujú zarovnanie priestorových rozmerov, poradie kanálov a pamäťovú cenu uložených máp. Tím porovná kvalitu hraníc so sieťou bez preskočení a sleduje, či skratka neumožňuje ignorovať úzke hrdlo. Dokumentácia uvádza zdroj, cieľ a operáciu každého spojenia.

Overiteľnosť

Odborné zdroje

  1. He et al. · Deep residual learningopenaccess.thecvf.com
  2. Huang et al. · DenseNetopenaccess.thecvf.com

Praktické odpovede

Často kladené otázky

Čo preskakuje?

Jednu alebo viac medziľahlých transformácií.

Musí sa sčítať?

Nie, môže sa konkatenovať alebo bránovať.

Je každý skip reziduálny?

Nie, reziduálne spojenie je konkrétny sčítací prípad.

Prečo môže byť drahé?

Skoré aktivácie treba uchovať do neskoršej vrstvy.

Čo treba zladiť?

Rozmery potrebné pre zvolenú operáciu spojenia.