Presná definícia
Čo znamená vrstva úzkeho hrdla?
Vrstva úzkeho hrdla zámerne znižuje rozmer reprezentácie alebo počet kanálov, čím obmedzí kapacitu a cenu nadväzujúceho výpočtu. V reziduálnom bloku je typickým úzkym hrdlom 1×1 projekcia pred drahou 3×3 konvolúciou; v autoenkóderi označuje najkomprimovanejšiu latentnú reprezentáciu. Význam preto treba viazať na konkrétnu architektúru.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V konvolučnom bloku sa počet kanálov zmenší 1×1 vrstvou, spracuje 3×3 jadrom a opäť rozšíri. Tím spočíta parametre a FLOPs oproti bloku bez úzkeho hrdla a kontroluje, či znížený rozmer nepoškodí zriedkavé znaky. V autoenkóderi sa latentný rozmer ladí podľa rekonštrukcie aj užitočnosti pre následnú úlohu; dobrá rekonštrukcia sama nezaručuje vhodnú kompresiu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Načo slúži?
Znižuje rozmer, kapacitu alebo výpočtovú cenu.
Ako vyzerá?
Často 1×1 zúženie, 3×3 spracovanie a 1×1 rozšírenie.
Čo označuje?
Najkomprimovanejšiu latentnú vrstvu.
Čo ak je príliš úzke?
Stratí informáciu potrebnú pre cieľ.
Čo porovnať?
Parametre, FLOPs, latenciu a kvalitu, nie iba rozmer.