Presná definícia
Čo znamená regularizácia?
Regularizácia je zásah do cieľa, reprezentácie alebo tréningu, ktorý obmedzuje efektívnu kapacitu modelu a uprednostňuje riešenia s lepším zovšeobecnením. Môže mať podobu penalizácie veľkých váh, riedkosti, predčasného zastavenia, zdieľania parametrov či augmentácie. Nie je opravou zlého dátového protokolu: jej sila je hyperparameter a účinok závisí od mierky príznakov aj induktívneho predpokladu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri lineárnom modeli sa príznaky najprv škálujú v rámci tréningového pipeline a následne sa porovnajú L1 a L2 penalizácie. Ich koeficient sa vyberá krížovou validáciou; nula, slabá aj silná hodnota musia byť v rozsahu, aby bolo vidieť nedostatočné a nadmerné obmedzenie. Pri sieti sa môže kombinovať úbytok váh, dropout a augmentácia, no každá zmena sa hodnotí abláciou. Sleduje sa nielen priemerné skóre, ale aj kalibrácia a malé skupiny. Ak regularizácia zakryje únik údajov alebo posun distribúcie, produkčný výkon aj tak zlyhá.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo regularizácia mení?
Pridáva preferenciu alebo obmedzenie, ktoré odrádza od príliš prispôsobivých riešení.
Aký je rozdiel medzi L1 a L2?
L1 podporuje nulové koeficienty; L2 plynulo zmenšuje veľké váhy.
Ako sa volí sila regularizácie?
Na validačných dátach v rovnakom pipeline ako všetky transformácie.
Môže byť regularizácia príliš silná?
Áno, zvýši skreslenie a spôsobí nedoučenie.
Nahradí regularizácia viac kvalitných dát?
Nie, najmä ak dáta nepokrývajú cieľovú populáciu.