Presná definícia
Čo znamená offline hodnotenie?
Offline hodnotenie meria model na historických alebo vopred pripravených dátach bez zásahu do živej prevádzky. Umožňuje reprodukovateľné porovnanie, no zachytí iba javy prítomné vo vzorke a nevie priamo zmerať reakciu používateľov či systému.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Odporúčací model tím prehrá na minulých reláciách a porovná NDCG, pokrytie katalógu a latenciu. Až kandidáti, ktorí splnia ochranné hranice, postúpia do obmedzeného online experimentu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená offline hodnotenie?
Offline hodnotenie meria model na historických alebo vopred pripravených dátach bez zásahu do živej prevádzky.
Kedy sa offline hodnotenie používa?
Odporúčací model tím prehrá na minulých reláciách a porovná NDCG, pokrytie katalógu a latenciu.
Od čoho treba offline hodnotenie odlíšiť?
Offline hodnotenie používa zaznamenané prípady; online hodnotenie pozoruje správanie pri skutočnom nasadení.
Ako sa offline hodnotenie kontroluje?
Použije sa časové delenie, rovnaký kandidátsky priestor, segmenty, bootstrap intervaly a kontrola úniku budúcnosti.
Aké obmedzenie má offline hodnotenie?
Historické logy vznikli pod starou politikou, preto nemusia obsahovať výsledky rozhodnutí, ktoré nikdy neurobila.