Presná definícia
Čo znamená testovacia množina?
Testovacia množina je vopred oddelená vzorka určená na jednorazové alebo striktne kontrolované nezávislé hodnotenie konečného modelu a celej pipeline. Nesmie ovplyvniť výber architektúry, hyperparametrov, prahu, príznakov ani pravidiel čistenia. Poskytuje odhad výkonu iba pre populáciu a podmienky, ktoré reprezentuje; označenie „test“ samo nezaručuje nezávislosť, kvalitu ani neprítomnosť kontaminácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Prístup k testovým štítkom sa technicky obmedzí a vyhodnotenie sa spustí po zmrazení kódu a modelu. Report obsahuje protokol výberu, obdobie, veľkosť, intervaly neistoty a výsledky relevantných podskupín. Ak výsledok vedie k zmene modelu, pôvodný test sa stal validačným a na konečný odhad treba nový test. Pri benchmarku sa kontroluje prekryv s pretrénovaním a verejnými riešeniami. Po nasadení test nenahrádza monitoring, pretože produkčná distribúcia sa môže zmeniť.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Musia byť testové štítky skryté?
Je to účinná ochrana pred ladením, ale dôležitejší je proces, ktorý bráni použitiu výsledku pri výbere.
Môže sa test spúšťať opakovane?
Technicky áno, no každé rozhodnutie podľa výsledku znižuje jeho nezávislosť.
Ako sa spracuje test?
Uloženým reťazcom spracovania prispôsobeným iba na trénovacích údajoch; pri teste sa vykoná transformácia, nie nové prispôsobenie.
Prečo skóre potrebuje interval?
Test je konečná vzorka a iný náhodný výber by dal iný výsledok.
Garantuje test budúci výkon?
Nie. Iba odhaduje výkon pri podobnom dátovom procese a predpokladoch.