Presná definícia
Čo znamená gradientné posilňovanie?
Gradientné posilňovanie buduje aditívny model po krokoch tak, že nový slabý model aproximuje záporný gradient zvolenej straty vzhľadom na aktuálne predikcie. Pri stromoch tak ďalší strom opravuje štruktúrované zvyšky predchádzajúceho ansámblu. Učiaca rýchlosť, počet a zložitosť stromov spoločne riadia kapacitu; nejde iba o hlasovanie stromov.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri odhade dopytu sa začne konštantnou predikciou a malé stromy postupne znižujú chybu. Učiaca rýchlosť sa ladí spolu s počtom iterácií: menší krok potrebuje viac stromov. Hĺbka riadi rád interakcií a subsampling pridáva regularizáciu. Early stopping sa rozhoduje na validačnej časti, nie na teste. Stromové boostingové modely dobre pracujú s nelinearitami tabulárnych dát, no môžu prefitovať chybné označenia a zle extrapolujú. Monitorujú sa validačná strata, kalibrácia a stabilita pri posune vstupov.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo nový model aproximuje?
Záporný gradient straty, často interpretovaný ako rezíduum v špeciálnom prípade.
Možno stromy trénovať úplne nezávisle?
Nie v základnom boostingu; každý krok závisí od aktuálneho ansámblu.
Prečo menšia učiaca rýchlosť potrebuje viac stromov?
Každý prírastok sa násobí menším krokom.
Čo riadi hĺbka slabých stromov?
Zložitosť lokálnych pravidiel a rád zachytených interakcií.
Na akých dátach zastaviť tréning?
Na validačných dátach oddelených od konečného testu.