Presná definícia
Čo znamená drift výkonnosti?
Drift výkonnosti je zmena kvality modelu v čase meraná proti novým referenčným výsledkom, napríklad poklesom presnosti, rastom chyby alebo stratou kalibrácie. Musí odlíšiť reálnu zmenu od šumu vzorky, oneskorených štítkov a zmeny definície metriky.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Mesačná presnosť modelu klesne najmä pri novom type produktu. Tím použije intervaly neistoty, rovnakú kohortu podľa času predikcie a analýzu chýb; rozhodne, či treba dáta, prah alebo nový model.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje drift výkonnosti?
Predikcie sa po doručení cieľa časovo a identitne spoja a metrika sa počíta v kĺzavých kohortách.
Kedy má drift výkonnosti praktický význam?
Mesačná presnosť modelu klesne najmä pri novom type produktu.
S čím si pojem nezamieňať?
Performance drift priamo meria zmenu úspechu; prediction drift iba zmenu rozdelenia výstupov bez znalosti pravdy.
Ako sa výsledok kontroluje?
Overujú sa definície a dostupnosť štítkov, kohorty, intervaly neistoty, segmenty, kalibrácia a porovnateľnosť s baseline.
Na čo si dať pozor?
Neskoré alebo selektívne získané štítky môžu vytvoriť zdanlivý pokles či zlepšenie bez zmeny modelu.