Presná definícia
Čo znamená kontraktívny autoenkóder?
Kontraktívny autoenkóder penalizuje citlivosť latentnej reprezentácie na malé zmeny vstupu, typicky Frobeniovu normu Jacobianu enkódera. Popri rekonštrukcii sa teda učí lokálne „sťahovať“ okolie dátových bodov do podobných kódov. Regularizácia sa týka mapy enkódera, nie iba veľkosti váh; jej účinok závisí od mierky vstupných príznakov.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Model sa hodí, keď má reprezentácia zostať stabilná voči malým nevýznamným perturbáciám. Pred tréningom sa príznaky škálujú a koeficient kontrakcie sa ladí spolu s rekonštrukčnou stratou. Tím meria zmenu kódu pri kontrolovaných perturbáciách a výkon následného modelu. Príliš silná penalizácia zbalí aj rozdiely dôležité pre cieľ; robustnosť voči malým euklidovským zmenám navyše nemusí znamenať robustnosť voči realistickým transformáciám.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo sa penalizuje?
Derivácia latentného kódu podľa vstupných prvkov.
Čo prináša malá norma?
Lokálne podobné vstupy majú bližšie reprezentácie.
Prečo štandardizovať?
Jacobian a veľkosť perturbácie závisia od jednotiek príznakov.
Čo spôsobí príliš silná kontrakcia?
Zhorší rekonštrukciu a môže odstrániť užitočné rozdiely.
Ako sa líši od odšumovacieho autoenkódera?
Stabilitu vynucuje explicitnou derivačnou penalizáciou, nie vzorkovaným šumom.