Presná definícia
Čo znamená poskytovanie modelu?
Poskytovanie modelu je prevádzková vrstva, ktorá načítava verzie modelov a obsluhuje inferenčné požiadavky cez stabilné rozhranie. Rieši správu verzií, batching, súbežnosť, zdroje, health checks a aktualizácie bez toho, aby klient poznal vnútorný framework.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Aplikácia volá službu s typovanou požiadavkou; server zoskupí kompatibilné požiadavky, vyberie verziu podľa politiky a vráti predikciu s identifikátorom modelu. Novú verziu načíta bez výpadku.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje poskytovanie modelu?
Server spravuje životný cyklus servable objektov, front požiadaviek a mapovanie API na výpočet modelu.
Kedy má poskytovanie modelu praktický význam?
Aplikácia volá službu s typovanou požiadavkou; server zoskupí kompatibilné požiadavky, vyberie verziu podľa politiky a vráti predikciu s identifikátorom modelu.
S čím si pojem nezamieňať?
Serving poskytuje výpočtovú službu modelu; predikčná služba môže navyše obsahovať obchodné pravidlá a viac modelov.
Ako sa výsledok kontroluje?
Meria sa dostupnosť, latencia percentilov, priepustnosť, chyby, využitie zdrojov, správne verzie a zhodnosť odpovedí.
Na čo si dať pozor?
Dynamický batching zvyšuje výkon, ale môže prekročiť latenciu alebo miešať požiadavky s odlišnými nárokmi.