Presná definícia
Čo znamená skrytá vrstva?
Skrytá vrstva je vnútorná transformácia neurónovej siete, ktorej aktivácie nie sú priamo pozorovaným vstupom ani konečným cieľom. Učí medzireprezentáciu využívanú ďalšími vrstvami. Označenie „skrytá“ neznamená tajná alebo nevysvetliteľná: aktivácie možno zaznamenať, no ich význam je distribuovaný a závisí od celej optimalizácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri diagnostike MLP sa pre reprezentatívnu vzorku sleduje rozdelenie aktivácií, podiel nulových ReLU a normy gradientov v každej skrytej vrstve. Náhle saturovanie alebo nulové aktivácie upozornia na zlú inicializáciu či rýchlosť učenia. Vizualizácia jednej jednotky sa interpretuje opatrne a dopĺňa abláciou. Pri zmene šírky sa porovná kapacita, latencia a generalizácia, nie iba tréningová chyba.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Kde sa nachádza?
Medzi vstupným rozhraním a výstupnou vrstvou.
Má jedna jednotka pomenovaný príznak?
Nie nevyhnutne; reprezentácia býva distribuovaná.
Dajú sa aktivácie pozorovať?
Áno, pomocou diagnostických výstupov alebo hookov.
Čo znamená šírka vrstvy?
Počet jej výstupných jednotiek alebo kanálov.
Čo signalizujú trvalo nulové aktivácie?
Môžu označovať neaktívne ReLU alebo zlú škálu.