Slovník výrazov AI/MLOps a nasadenie

MLOps a nasadenie

inferenčný pipeline

Anglický výraz inference pipeline

základnéheslo č. 9615 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená inferenčný pipeline?

Inferenčný pipeline je sled krokov, ktorý prijme nové dáta, vykoná rovnaké predspracovanie ako pri tréningu, zavolá konkrétnu verziu modelu a spracuje výstup do použiteľnej odpovede. Eviduje schému, latenciu, chyby, verziu a prípadné pravidlá po modeli.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri posúdení reklamácie pipeline overí vstup, odstráni citlivé polia, vypočíta príznaky, zavolá model a aplikuje schválený prah. Do auditu uloží verziu modelu a dôvod manuálnej eskalácie.

Overiteľnosť

Odborné zdroje

  1. TensorFlow - Serving Modelstensorflow.org
  2. Sculley et al. - Hidden Technical Debt in Machine Learning Systemsresearch.google

Praktické odpovede

Často kladené otázky

Ako funguje inferenčný pipeline?

Vstup prejde validáciou a transformáciami, model vypočíta predikciu a postprocessing ju prevedie na odpoveď alebo akciu.

Kedy má inferenčný pipeline praktický význam?

Pri posúdení reklamácie pipeline overí vstup, odstráni citlivé polia, vypočíta príznaky, zavolá model a aplikuje schválený prah.

S čím si pojem nezamieňať?

Inferenčný pipeline riadi celé spracovanie požiadavky; model serving spravuje dostupnosť modelovej výpočtovej služby.

Ako sa výsledok kontroluje?

Testuje sa zhodnosť transformácií, schéma, hraničné hodnoty, verzia modelu, latencia, fallback a dohľadateľnosť výstupu.

Na čo si dať pozor?

Chyba v predspracovaní alebo postprocessingu môže zmeniť rozhodnutie, hoci modelový súbor zostal nezmenený.