Presná definícia
Čo znamená vyčlenená množina?
Vyčlenená množina je časť dát zámerne odložená mimo určitej fázy učenia, aby simulovala nevidené prípady. Podľa protokolu môže slúžiť ako validačná alebo testovacia množina; slovo „holdout“ nehovorí, na aké rozhodnutie sa smie použiť. Jednorazové vyčlenenie dáva jeden odhad závislý od konkrétneho rozdelenia a pri malých dátach môže mať vysoký rozptyl.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri milióne nezávislých záznamov môže stabilný časový holdout poskytnúť lacné a realistické hodnotenie. Pri malej klinickej vzorke je vhodnejšia skupinová alebo vnorená krížová validácia, aby sa využilo viac dát a oddelil výber modelu od odhadu. Rozdelenie sa robí podľa pacienta, zariadenia alebo obdobia pred akýmkoľvek fitom. V dokumentácii sa uvedie, či holdout ovplyvnil hyperparametre. Ak áno, nesmie sa nazývať konečným testom bez ďalšej nezávislej množiny.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Je holdout automaticky testovacia množina?
Nie. Je to vyčlenená časť; jej rolu určuje, aké rozhodnutia podľa nej robíme.
Kedy je jednorazový holdout vhodný?
Pri veľkom objeme nezávislých dát, keď jedna časť poskytne dostatočne presný odhad.
Prečo je slabý pri malých dátach?
Výsledok silno závisí od náhodného výberu a zmenšuje množinu dostupnú na učenie.
Môže byť holdout časový?
Áno, staršie dáta tvoria tréning a neskoršie simulujú budúce nasadenie.
Čo sa stane po ladení na holdoute?
Stane sa validačnou informáciou a na nezávislý záver treba nový holdout.