Presná definícia
Čo znamená krížová validácia?
Krížová validácia je resamplingový postup, ktorý opakovane trénuje model na jednej časti dát a hodnotí ho na vyčlenenej časti, aby odhadol výkon a variabilitu alebo vybral hyperparametre. Záhyby musia rešpektovať štruktúru dát; všetky transformácie sa fitujú nanovo v každom tréningovom záhybe. Krížová validácia neodstráni skreslenie nereprezentatívnej vzorky a po ladení neposkytuje nezávislý test bez vnorenia alebo holdoutu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri k-násobnej validácii sa pipeline vrátane imputácie a výberu príznakov spustí k-krát. Pre pacientov sa použije GroupKFold, pre časový rad postupné okná a pre nevyváženú klasifikáciu stratifikácia iba v rámci skupinových obmedzení. Reportuje sa rozdelenie skóre, nie len priemer. Hyperparametre sa môžu vyberať vnútornou CV a konečný výkon odhadnúť vonkajšou CV. Výpočtový rozpočet sa drží rovnaký pre všetkých kandidátov; inak zložitejší model dostane nespravodlivú výhodu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Na čo slúži?
Na odhad výkonu, porovnanie modelov alebo ladenie pri efektívnejšom využití konečnej vzorky.
Prečo fitovať predspracovanie v každom záhybe?
Inak validačný záhyb ovplyvní transformáciu a vznikne únik.
Je náhodný KFold vhodný vždy?
Nie. Čas, skupiny a priestor vyžadujú deliacu schému zodpovedajúcu budúcemu použitiu.
Čo je nested CV?
Vnútorné záhyby vyberajú model a vonkajšie nezávisle odhadujú výsledok celého výberového postupu.
Ako reportovať výsledok?
Priemer s rozptylom alebo intervalom a skóre jednotlivých záhybov, ktoré môžu odhaliť nestabilitu.