Presná definícia
Čo znamená riedky autoenkóder?
Riedky autoenkóder pridáva k rekonštrukčnej strate tlak, aby bola pre jednu vzorku aktívna iba malá časť latentných jednotiek. Riedkosť sa vynucuje napríklad L1 penalizáciou aktivácií alebo odchýlkou priemernej aktivácie od malej cieľovej hodnoty. Kód môže byť aj širší než vstup, no obmedzená aktivita bráni jednoduchému distribuovanému kopírovaniu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa na objavovanie slovníka príznakov, interpretáciu aktivácií a kompresiu signálu do malého počtu aktívnych prvkov. Tím sleduje rekonštrukciu spolu s podielom nulových alebo nadprahových aktivácií; vysoká riedkosť bez užitočného dekódovania je kolaps, nie úspech. Koeficient regularizácie sa volí na validácii a jednotky sa kontrolujú na „mŕtvosť“. Interpretácia jednej jednotky vyžaduje príklady s vysokou aktiváciou a test zásahu, nie iba názov priradený človekom.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne je riedke?
Latentné aktivácie naprieč jednotkami alebo dátami, nie nevyhnutne váhy.
Ako sa vynucuje?
L1 stratou, KL odchýlkou od cieľovej aktivity alebo top-k výberom.
Môže byť latentná vrstva väčšia?
Áno, riedkosť môže obmedziť aj nadúplný slovník.
Čo znamená?
Neaktivuje sa na takmer žiadnej vzorke a neprispieva k reprezentácii.
Je jedna aktívna jednotka automaticky pojem?
Nie; význam sa musí overiť príkladmi a intervenciami.