Presná definícia
Čo znamená preučenie?
Preučenie je stav, keď model zachytí osobitosti, šum alebo úniky tréningových a ladiacich dát tak, že jeho odhad chyby na nich je podstatne lepší než výkon na nových prípadoch z cieľového prostredia. Nie je definované iba rozdielom tréningovej a testovacej straty: môže vzniknúť aj opakovaným výberom podľa validácie alebo voči benchmarku. Rozhodujúci je pokles prenosu mimo informácie použitej pri vývoji.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Ak validačná strata po desiatej epoche rastie, model sa nevyberie podľa poslednej epochy, ale podľa vopred určeného pravidla. Najprv sa overí čistota rozdelenia podľa času a subjektu, potom sa skúsi jednoduchší model, regularizácia, augmentácia alebo viac relevantných dát. Každý experiment sa zapisuje, pretože stovky rozhodnutí podľa tej istej validácie ju postupne preučia. Finálny test sa otvorí až po uzavretí pipeline; produkčná skúška sleduje aj drift a následky rozhodnutí. Samotné zníženie tréningového skóre nie je cieľom-dôležitý je stabilný výkon na nezávislej populácii.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako sa preučenie prejaví?
Rastúcou medzerou medzi učením a nezávislým hodnotením alebo nestabilitou medzi rozdeleniami.
Dá sa preučiť validačná množina?
Áno, ak podľa nej opakovane volíme model, príznaky a hyperparametre.
Môže byť preučený benchmark?
Áno, aj bez priameho tréningu, ak výsledky spätne riadia vývoj.
Čo pomáha proti preučeniu?
Čistejší protokol, primeraná kapacita, regularizácia a relevantnejšie dáta.
Je preučenie nevyhnutné pri malej vzorke?
Riziko rastie, no vhodný model a poctivá neistota ho môžu obmedziť.