Slovník výrazov AI/MLOps a nasadenie

MLOps a nasadenie

dávková inferencia

Anglický výraz batch inference

základnéheslo č. 9685 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená dávková inferencia?

Dávková inferencia vypočíta predikcie pre väčšiu konečnú množinu záznamov v plánovanom alebo jednorazovom behu. Optimalizuje priepustnosť a náklady, pričom musí určiť časový výrez vstupu, verziu modelu, opakovateľnosť a spôsob čiastočného zotavenia.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Každú noc sa ohodnotia všetky skladové položky pre objednávky nasledujúceho dňa. Beh uloží dátum platnosti, verziu datasetu a modelu; pri opakovaní prepíše iba rovnaký oddiel, nie novšie výsledky.

Overiteľnosť

Odborné zdroje

  1. Xin et al. - Production Machine Learning Pipelinesresearch.google
  2. TensorFlow - TensorFlow Serving configurationtensorflow.org

Praktické odpovede

Často kladené otázky

Ako funguje dávková inferencia?

Distribuovaný job rozdelí vstup na oddiely, vektorovo spracuje dávky a spojí výstupy pod identifikátorom behu.

Kedy má dávková inferencia praktický význam?

Každú noc sa ohodnotia všetky skladové položky pre objednávky nasledujúceho dňa.

S čím si pojem nezamieňať?

Dávková inferencia pracuje s konečným snapshotom; streamová priebežne spracúva udalosti s časom udalosti.

Ako sa výsledok kontroluje?

Kontroluje sa úplnosť a jedinečnosť výstupu, priepustnosť, čas dokončenia, deterministické opakovanie a čiastočné zlyhania.

Na čo si dať pozor?

Neskoré dáta alebo opakovaný starý beh môžu prepísať čerstvejšie predikcie bez viditeľnej technickej chyby.