Presná definícia
Čo znamená krížová validácia s vynechaním jedného?
Krížová validácia s vynechaním jedného (LOOCV) vytvorí pri n príkladoch n behov: vždy trénuje na n-1 príkladoch a testuje na jedinom vynechanom príklade. Takmer všetky dáta používa na fit, no vyžaduje n tréningov a jednotlivé validačné chyby sú silno korelované. Výsledný odhad môže mať vysoký rozptyl a nie je vhodný pre závislé záznamy bez vynechávania celej skupiny.
Skúsenosť a kontext
Ako sa pojem používa v praxi
LOOCV sa hodí pri veľmi malej množine a lacnom stabilnom modeli, napríklad pri lineárnom odhade, nie pri drahej neurónovej sieti. Celá pipeline sa refituje n-krát; vynechaný bod nesmie ovplyvniť škálovanie ani výber príznakov. Tím porovná náklady a stabilitu s 5- alebo 10-násobnou CV. Pri viacerých meraniach pacienta sa používa leave-one-group-out, lebo vynechanie jedného riadku by stále nechalo informácie o tej istej osobe v tréningu. Hyperparametre vyžadujú vnorený protokol.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Koľko behov potrebuje LOOCV?
Presne n, kde n je počet vyhodnocovaných nezávislých jednotiek.
Čo je jej hlavná výhoda?
Každý model sa učí takmer z celej dostupnej vzorky a každý príklad je raz vyhodnotený.
Prečo môže byť odhad nestabilný?
Tréningové množiny sa takmer úplne prekrývajú a výsledok závisí od jednotlivých bodov.
Čo ak má osoba viac záznamov?
Treba vynechať celú osobu, nie jeden riadok, inak vznikne identitný únik.
Dá sa LOOCV použiť na hyperparametre?
Áno, ale nezávislý výkon potom potrebuje vonkajšie vyhodnotenie.