Dáta pre AI

rozdelenie trénovanie-validácia-test

Anglický výraz train-validation-test split

pokročiléheslo č. 9405 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená rozdelenie trénovanie-validácia-test?

Rozdelenie trénovanie-validácia-test oddeľuje dáta na učenie parametrov, výber postupu a jednorazový odhad finálneho výkonu. Hranica sa volí podľa nezávislej jednotky, času a spôsobu nasadenia; jednoduché náhodné delenie je správne iba pri nezávislých a rovnako rozdelených prípadoch.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri predikcii reklamácií sa staršie mesiace použijú na tréning, nasledujúci na ladenie a najnovší na test. Všetky podania jedného klienta a ich textové duplikáty zostanú v jednej časti.

Overiteľnosť

Odborné zdroje

  1. Breck et al. - The ML Test Scoreresearch.google
  2. Barz & Denzler - Training on Test Data: Removing Near Duplicates in Fashion-MNISTarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje rozdelenie trénovanie-validácia-test?

Pravidlo priradí každú nezávislú skupinu presne do jednej časti a zmrazí mapovanie spolu s verziou datasetu.

Kedy má rozdelenie trénovanie-validácia-test praktický význam?

Pri predikcii reklamácií sa staršie mesiace použijú na tréning, nasledujúci na ladenie a najnovší na test.

S čím si pojem nezamieňať?

Rozdelenie určuje účel častí; krížová validácia opakovane strieda tréningové a validačné záhyby, nie finálny test.

Ako sa výsledok kontroluje?

Kontrolujú sa prieniky identít, časov a duplikátov, pomery tried, veľkosť každej časti a nezávislosť testu od ladenia.

Na čo si dať pozor?

Náhodné rozdelenie príbuzných záznamov vytvorí informačný únik a nereálne vysokú generalizáciu.