Presná definícia
Čo znamená regularizácia L1?
Regularizácia L1 pridáva k cieľovej funkcii súčet absolútnych hodnôt vybraných parametrov násobený koeficientom λ. Jej nediferencovateľný bod v nule podporuje riedke riešenia; pri presných proximálnych metódach môže nastaviť parametre priamo na nulu. Bežný gradientový krok s automatickou diferenciáciou ich môže iba veľmi priblížiť k nule, preto riedkosť závisí aj od optimalizácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
L1 sa používa pri výbere príznakov v lineárnych modeloch alebo pri riedkych váhach a aktiváciách. Tím štandardizuje vstupy, lebo penalizácia inak zvýhodní príznaky s určitou mierkou, a λ volí na validácii. Nulový parameter ešte nemusí znamenať odstránený výpočet; pre zrýchlenie treba štruktúrovanú riedkosť alebo pruning pipeline. Pri korelovaných príznakoch môže L1 svojvoľne vybrať jeden z viacerých podobných.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Aký člen sa pridáva?
λ násobené súčtom absolútnych hodnôt parametrov.
Prečo podporuje nuly?
Geometria L1 a proximálny krok majú prahovací účinok.
Prečo normalizovať príznaky?
Koeficienty rôznej jednotky by boli penalizované neporovnateľne.
Čo robí s podobnými príznakmi?
Môže vybrať jeden a ostatné potlačiť nestabilným spôsobom.
Zrýchli nulová váha model?
Nie automaticky; hardvér musí využiť príslušnú štruktúru riedkosti.