Presná definícia
Čo znamená hodnotiaci dataset?
Hodnotiaci dataset je oddelená kolekcia príkladov s referenciami alebo kritériami, na ktorej sa meria kvalita už vytvoreného modelu. Jeho výber, časové obdobie, segmenty a pravidlá označenia určujú, na aké tvrdenia sa výsledok vzťahuje.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím rezervuje posledné tri mesiace reklamácií iba na záverečné porovnanie. Dataset verzuje, zdokumentuje chýbajúce regióny a po každom opakovanom ladení vytvorí nový nedotknutý holdout.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená hodnotiaci dataset?
Hodnotiaci dataset je oddelená kolekcia príkladov s referenciami alebo kritériami, na ktorej sa meria kvalita už vytvoreného modelu.
Kedy sa hodnotiaci dataset používa?
Tím rezervuje posledné tri mesiace reklamácií iba na záverečné porovnanie.
Od čoho treba hodnotiaci dataset odlíšiť?
Trénovací dataset upravuje parametre modelu; hodnotiaci dataset má poskytnúť nezávislý odhad správania.
Ako sa hodnotiaci dataset kontroluje?
Kontroluje sa oddelenie od tréningu, reprezentatívnosť, kvalita referencií, duplicity, segmenty a dátum výrezu.
Aké obmedzenie má hodnotiaci dataset?
Časté pozeranie na rovnaký dataset vedie k nepriamemu preučeniu benchmarku a nadhodnotenej kvalite.