Presná definícia
Čo znamená cloudová inferencia?
Cloudová inferencia vykonáva predikciu na vzdialenej škálovateľnej infraštruktúre a prijíma vstupy cez sieťové rozhranie. Umožňuje veľké modely a centralizovanú správu, no latencia zahŕňa sieť, frontu aj server.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Aplikácia posiela požiadavku do verziovaného endpointu, ktorý škáluje batchovanie podľa záťaže. Tím meria p50, p95 a p99 latenciu aj náklady na požiadavku.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená cloudová inferencia?
Cloudová inferencia vykonáva predikciu na vzdialenej škálovateľnej infraštruktúre a prijíma vstupy cez sieťové rozhranie.
Kedy sa cloudová inferencia používa?
Aplikácia posiela požiadavku do verziovaného endpointu, ktorý škáluje batchovanie podľa záťaže.
Od čoho treba cloudová inferencia odlíšiť?
On-device inference spracuje vstup lokálne. Cloud inference využíva zdieľané vzdialené akcelerátory a vyžaduje spojenie.
Ako sa cloudová inferencia kontroluje?
Overuje sa sieťová aj serverová latencia, autoscaling, batching, cold start, dostupnosť, izolácia dát, verzia modelu a náklady.
Aké obmedzenie má cloudová inferencia?
Výpadok siete alebo regiónu preruší službu a odosielanie citlivých vstupov zvyšuje bezpečnostné a právne požiadavky.