Presná definícia
Čo znamená validačná množina?
Validačná množina je dátová časť oddelená od fitovania parametrov, používaná na výber modelu, hyperparametrov, prahu, príznakov alebo okamihu skorého zastavenia. Hoci sa na nej gradient priamo nepočíta, opakované rozhodovanie podľa jej výsledkov prenáša informáciu do vývoja a môže ju preučiť. Preto validačné skóre nie je konečný nezávislý odhad a po ukončení výberu sa používa nedotknutá testovacia množina.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Experimentačná tabuľka zaznamená každú konfiguráciu a rozhodnutie urobené podľa validácie. Pri časových dátach validácia simuluje budúce obdobie; pri pacientoch alebo používateľoch rešpektuje skupiny. Ak sa tím na výsledok pozerá desiatky ráz, potrebuje vnorenú krížovú validáciu alebo novú validačnú vzorku. Prah sa volí podľa prevádzkových nákladov, nie automaticky 0,5. Po výbere sa môže model pretrénovať na tréningu plus validácii, ale test zostáva uzamknutý a celý postup sa musí zopakovať bez ďalšieho ladenia.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Učia sa na validácii parametre modelu?
Nie priamo, ale validácia ovplyvňuje hyperparametre a výber verzie, takže je súčasťou vývoja.
Prečo nestačí validačné skóre?
Opakované ladenie ho môže preučiť a urobiť optimistickým.
Je validačná množina pri early stopping tréningová?
Funkčne ovplyvňuje výsledný model, preto už nie je nezávislým testom.
Aká má byť veľká?
Taká, aby spoľahlivo rozlíšila kandidátov v dôležitých segmentoch; pevné percento neplatí univerzálne.
Kedy ju vymeniť?
Keď sa podľa nej urobilo veľa iteratívnych rozhodnutí alebo sa zmenila cieľová populácia.