Presná definícia
Čo znamená XGBoost?
XGBoost je systém gradientného posilňovania stromov optimalizujúci regularizovaný cieľ pomocou gradientov a druhých derivácií straty. Používa shrinkage, subsampling, penalizáciu zložitosti stromu, prácu s riedkymi vstupmi a paralelizované hľadanie delení. Názov označuje konkrétnu implementáciu a algoritmické rozšírenia, nie všeobecné synonymum pre boosting.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Na tabulárnych dátach sa najprv vytvorí reprodukovateľná validačná schéma a jednoduchý baseline. Ladí sa hĺbka, learning rate, počet stromov, minimálny zisk delenia, regularizácia a podiel riadkov či stĺpcov. Chýbajúce hodnoty sa môžu smerovať natívne, ale ich význam treba auditovať. Early stopping vyberá počet iterácií na validácii. Pri kategorických premenných sa overí konkrétna podpora a kódovanie verzie. Dôležitosti sa neinterpretujú kauzálne a model sa testuje na kalibráciu, latenciu a posun distribúcie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čím sa líši od všeobecného gradient boostingu?
Pridáva konkrétny regularizovaný cieľ a optimalizácie systému.
Načo používa Hessian?
Zlepšuje aproximáciu zmeny straty pri hodnotení váh listov a delení.
Vie pracovať s chýbajúcimi hodnotami?
Áno, učí predvolený smer delenia, no to nenahrádza analýzu mechanizmu chýbania.
Čo sa regularizuje?
Hmotnosti listov a podľa cieľa aj počet či štruktúra listov.
Je testovacia množina vhodná na zastavenie?
Nie. Použije sa validačná časť a test zostane nedotknutý.