Presná definícia
Čo znamená trénovacia množina?
Trénovacia množina je časť dát, ktorú učiaci algoritmus používa na odhad parametrov modelu a všetkých transformácií učených z dát. Patrí sem fit normalizácie, výber príznakov, imputácia aj augmentačné štatistiky. Nemá byť nezávislým dôkazom výkonu, pretože model bol priamo optimalizovaný vzhľadom na ňu. Jej zloženie musí zodpovedať cieľovej populácii alebo mať zdokumentované váženie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Záznamy sa rozdelia podľa jednotky nezávislosti ešte pred predspracovaním: všetky návštevy jedného pacienta zostanú v jednej časti. Iba tréningová časť určuje slovník kategórií, priemer škálovania a vybrané príznaky; uložená pipeline potom transformuje validáciu a test bez refitu. Sleduje sa pôvod, licencie, časové pokrytie, duplicity a zastúpenie dôležitých skupín. Veľká množina s chybnými štítkami alebo nereprezentatívnym zberom nemusí byť lepšia. Verzia dát sa viaže na konkrétnu verziu modelu kvôli reprodukcii.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Na čo presne slúži?
Na odhad parametrov a fit každej dátovo učenej transformácie v pipeline.
Prečo na nej nemožno reportovať kvalitu?
Model ju videl a mohol sa prispôsobiť jej šumu, takže odhad je optimistický.
Môže normalizácia vidieť všetky dáta?
Nie. Jej štatistiky sa odhadnú iba z tréningu a aplikujú na ostatné časti.
Prečo sú duplicity problém?
Kópia v teste môže modelu prezradiť odpoveď a nafúknuť odhad zovšeobecnenia.
Čo znamená verziovať množinu?
Uchovať presný zoznam alebo hash záznamov, schému, filtre, štítky a transformácie.