Presná definícia
Čo znamená hrebeňová regresia?
Hrebeňová regresia je lineárna regresia s penalizáciou L2, teda so súčtom štvorcov koeficientov v cieľovej funkcii. Penalizácia zmenšuje koeficienty a stabilizuje odhad pri korelovaných príznakoch alebo vysokej rozmernosti, zvyčajne ich však nenastaví presne na nulu. Sila regularizácie riadi kompromis medzi prispôsobením dátam a veľkosťou parametrov.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri predikcii z množstva korelovaných senzorov sa príznaky najprv štandardizujú, aby rovnaká penalizácia nemala rozdielny význam podľa jednotiek. Hyperparameter α sa vyberá vnorenou alebo riadne oddelenou krížovou validáciou. Intercept sa zvyčajne nepenalizuje a predspracovanie musí byť súčasťou pipeline. Ridge je vhodný, keď mnoho premenných nesie malý signál; ak je cieľom riedky výber príznakov, vhodnejší môže byť LASSO alebo elastická sieť. Výsledné koeficienty sú skreslené zámerne výmenou za nižší rozptyl.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo penalizuje L2?
Súčet štvorcov koeficientov, takže veľké hodnoty zdražuje výraznejšie.
Vyberá ridge príznaky?
Spravidla nie; koeficienty zmenší, ale ponechá nenulové.
Prečo je štandardizácia dôležitá?
Bez nej sú premenné v rôznych jednotkách penalizované neporovnateľne.
Prečo zavádzať skreslenie?
Malé skreslenie môže výrazne znížiť rozptyl a zlepšiť predikciu na nových dátach.
Čo znamená vysoké α?
Silnejšie zmenšenie koeficientov a jednoduchší, no potenciálne podfitovaný model.