Presná definícia
Čo znamená sekvenčné posilňovanie (boosting)?
Boosting je rodina metód, ktoré skladajú slabšie modely sekvenčne tak, aby každý ďalší zlepšoval aktuálny ansámbel. AdaBoost mení váhy príkladov, gradient boosting aproximuje smer znižovania straty a moderné knižnice pridávajú regularizáciu aj systémové optimalizácie. Spoločným znakom nie je konkrétny typ stromu, ale závislosť nasledujúceho kroku od predchádzajúcich.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri tabuľkovej klasifikácii sa zvolí slabý základný model a validačná strata. Počet krokov sa riadi learning rate a early stoppingom; príliš dlhý tréning môže zachytiť šum. Boosting sa porovná s baggingom: často znižuje skreslenie, no je citlivejší na chybné označenia a hyperparametre. Dôležité sú reprodukovateľné foldy, obmedzenie stromov a kontrola kalibrácie. Pri distribuovanom tréningu treba rozlišovať matematický algoritmus od implementácie, pretože XGBoost, LightGBM a CatBoost riešia dáta odlišne.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Prečo sa modely učia postupne?
Nový člen reaguje na chyby alebo gradient aktuálneho ansámblu.
Musí mať nízku kvalitu?
Má byť jednoduchý a mierne užitočný; jeho presná definícia závisí od teórie algoritmu.
Ako sa líši od baggingu?
Bagging učí modely prevažne nezávisle, boosting ich viaže sekvenčne.
Môže boosting prefitovať?
Áno, najmä pri hlbokých stromoch, vysokej učiacej rýchlosti alebo hlučných cieľoch.
Sú XGBoost, LightGBM a CatBoost totožné?
Nie. Zdieľajú boostingové jadro, ale líšia sa stromami, kategóriami a optimalizáciami.