Presná definícia
Čo znamená DropConnect?
DropConnect je stochastická regularizácia, ktorá počas tréningu náhodne nuluje jednotlivé váhy spojení, nie výstupné aktivácie jednotiek ako dropout. Každý príklad alebo dávka tak používa riedenú verziu váh. Výsledné rozdelenie aktivácií je zložitejšie a inferencia potrebuje deterministickú aproximáciu alebo očakávané škálovanie podľa konkrétnej implementácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri experimentálnej lineárnej vrstve sa maska aplikuje na váhovú maticu iba v tréningovom režime. Testy overia, že bias sa maskuje alebo nemaskuje presne podľa návrhu a že evaluačný výstup používa správne škálovanie. Tím porovná DropConnect s dropoutom pri podobnej efektívnej miere riedenia, sleduje čas a pamäť. V produkcii sa použije iba implementácia s jasne overeným inferenčným správaním.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo nuluje DropConnect?
Váhy spojení; dropout nuluje aktivácie.
Kedy sa vzorkuje?
Počas tréningu podľa implementácie pre príklad alebo dávku.
Nuluje sa tiež?
Nie automaticky; musí to určovať konkrétna vrstva.
Ako sa náhodnosť odstráni?
Deterministickým očakávaným alebo aproximovaným výpočtom.
Je vždy lacnejší než dropout?
Nie, maskovanie váh môže byť výpočtovo menej výhodné.