Slovník výrazov AI/MLOps a nasadenie

MLOps a nasadenie

streamová inferencia

Anglický výraz streaming inference

základnéheslo č. 9705 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená streamová inferencia?

Streamová inferencia priebežne spracúva neukončený tok udalostí a vytvára predikcie podľa času udalosti, okien a stavových operácií. Musí riešiť oneskorené a duplicitné udalosti, watermarky, poradie a konzistentné obnovenie stavu.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri monitorovaní strojov služba počíta päťminútové okná vibrácií podľa času merania. Oneskorené udalosti prijme do povoleného limitu a pri opakovanom doručení nepripočíta tú istú vzorku dvakrát.

Overiteľnosť

Odborné zdroje

  1. Xin et al. - Production Machine Learning Pipelinesresearch.google
  2. Google SRE - Service Level Objectivessre.google

Praktické odpovede

Často kladené otázky

Ako funguje streamová inferencia?

Stream processor aktualizuje stav okien a pri splnení triggera odošle príznaky modelu, pričom eviduje checkpoint.

Kedy má streamová inferencia praktický význam?

Pri monitorovaní strojov služba počíta päťminútové okná vibrácií podľa času merania.

S čím si pojem nezamieňať?

Streaming pracuje s nekonečným tokom a stavom; dávková inferencia spracuje uzavretý snapshot.

Ako sa výsledok kontroluje?

Testujú sa udalosti mimo poradia, duplicita, watermark, obnova z checkpointu, čerstvosť a zhodnosť s referenčným batch výpočtom.

Na čo si dať pozor?

Nesprávny čas udalosti alebo stav po reštarte môže meniť príznaky a opakovane vyvolať tú istú akciu.