Presná definícia
Čo znamená únik medzi trénovacou a testovacou množinou?
Únik medzi trénovacou a testovacou množinou vzniká, keď tréningový proces získa informáciu z testovacích prípadov alebo s nimi závislých záznamov, takže test už nesimuluje nevidené dáta. Patrí sem spoločný subjekt, takmer duplicita, transformácia prispôsobená na celom súbore aj výber modelu podľa testového skóre. Je to konkrétny druh úniku údajov viazaný na hranicu hodnotiaceho rozdelenia.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri diagnostike z obrazov sa všetky snímky jedného pacienta priradia do rovnakej množiny ešte pred augmentáciou. Deduplikácia používa identifikátory aj podobnosť obrazu; normalizácia, imputácia, slovník a výber príznakov sa učia iba na tréningovej časti. Testový súbor má obmedzený prístup a výsledok sa nevkladá do slučky ladenia. Pri časových dátach sa tréning končí pred testovacím obdobím a zohľadní sa oneskorenie označení. Audit uloží pôvod každého riadku a fit rozsah transformácií. Neobvykle vysoké skóre sa najprv považuje za dôvod preveriť hranice, nie za úspech.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako sa líši od všeobecného úniku údajov?
Výslovne prekračuje hranicu medzi tréningom a nezávislým testom.
Prečo držať záznamy osoby spolu?
Inak model využije jej opakované vlastnosti namiesto prenosu na novú osobu.
Je škálovanie na celom súbore únik?
Áno, jeho parametre využijú aj rozdelenie testových hodnôt.
Koľkokrát možno pozrieť test?
Ideálne raz po uzavretí rozhodnutí; opakované použitie z neho robí validáciu.
Stačí odstrániť rovnaké ID?
Nie, treba hľadať odvodené, prekrývajúce sa a takmer rovnaké prípady.