Presná definícia
Čo znamená predspracovanie dát?
Predspracovanie dát je súbor krokov, ktoré prevedú surové pozorovania do vstupu prijateľného pre konkrétny model: validácia, kódovanie, škálovanie, tokenizácia či tvorba okien. Parametre naučené z dát sa odhadujú iba na trénovacej časti a potom sa rovnako aplikujú pri inferencii.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri modeli cien sa medián na doplnenie chýbajúcich hodnôt a škálovacie parametre vypočítajú len z tréningových záznamov. Rovnaký transformačný graf sa uloží s modelom a použije v produkčnej službe.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje predspracovanie dát?
Transformačný graf najprv prispôsobí stav na tréningových dátach a následne deterministicky mapuje každý vstup na tenzory.
Kedy má predspracovanie dát praktický význam?
Pri modeli cien sa medián na doplnenie chýbajúcich hodnôt a škálovacie parametre vypočítajú len z tréningových záznamov.
S čím si pojem nezamieňať?
Čistenie opravuje alebo vyraďuje problematické údaje; predspracovanie zahŕňa aj modelovo špecifické reprezentácie.
Ako sa výsledok kontroluje?
Porovná sa tréningová a produkčná implementácia, rozsahy výstupov, práca s neznámymi kategóriami a únik informácie.
Na čo si dať pozor?
Ak sa štatistika vypočíta z celého datasetu, validácia môže nepriamo vidieť budúce alebo testovacie dáta.