Presná definícia
Čo znamená online inferencia?
Online inferencia vypočíta predikciu na požiadanie pre jednotlivú položku alebo malú dávku cez dostupnú službu. Uprednostňuje krátku odozvu a čerstvé príznaky; každá odpoveď má byť spätne priraditeľná k vstupu a verzii modelu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri otvorení produktu odporúčací endpoint do 100 ms načíta aktuálne príznaky používateľa a vráti zoradenie. Pri nedostupnosti použije bezpečný nemodelový fallback a zaznamená dôvod.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje online inferencia?
Klient odošle požiadavku, služba vykoná synchronnú inferenciu a v rámci časového limitu vráti odpoveď.
Kedy má online inferencia praktický význam?
Pri otvorení produktu odporúčací endpoint do 100 ms načíta aktuálne príznaky používateľa a vráti zoradenie.
S čím si pojem nezamieňať?
Online inferencia opisuje interaktívny režim požiadavka-odpoveď; reálny čas navyše vyžaduje explicitnú a garantovanú časovú hranicu.
Ako sa výsledok kontroluje?
Sledujú sa p50/p95/p99 latencie, timeouty, čerstvosť príznakov, chybovosť, verzie a kvalita na neskôr získaných štítkoch.
Na čo si dať pozor?
Sieťové oneskorenie a pomalé online príznaky môžu dominovať času, aj keď samotný model je rýchly.