Presná definícia
Čo znamená dataset zlatého štandardu?
Dataset zlatého štandardu je malá, starostlivo kurátorovaná a nezávisle overená sada s referenčnými štítkami, určená na kalibráciu anotátorov alebo dôveryhodné hodnotenie. Má jasné kritériá výberu, adjudikáciu, verziu a nesmie byť skrytým tréningovým materiálom.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Výrobca vytvorí 2 000 prípadov, ktoré posúdia dvaja technici a pri nezhode tretí expert. Sada sa uzamkne pred ladením modelu; časť sa používa na školenie anotátorov a oddelená časť iba na záverečný test.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje dataset zlatého štandardu?
Viacnásobné odborné posúdenie a adjudikácia vytvoria verziované referenčné položky s auditnou stopou.
Kedy má dataset zlatého štandardu praktický význam?
Výrobca vytvorí 2 000 prípadov, ktoré posúdia dvaja technici a pri nezhode tretí expert.
S čím si pojem nezamieňať?
Zlatý štandard zdôrazňuje kvalitu a nezávislé overenie; bežné testovacie dáta môžu mať štítky z lacnejšieho procesu.
Ako sa výsledok kontroluje?
Kontroluje sa nezávislosť od tréningu, reprezentatívnosť, zhoda expertov, stabilita verzie a únik položiek či duplikátov.
Na čo si dať pozor?
Príliš malá alebo umelo čistá sada môže presne merať nesprávne zjednodušenú časť reálnej úlohy.