Slovník výrazov AI/MLOps a nasadenie

MLOps a nasadenie

inferenčný endpoint

Anglický výraz inference endpoint

pokročiléheslo č. 9715 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená inferenčný endpoint?

Inferenčný endpoint je adresovateľné sieťové rozhranie, ktoré prijíma vstup podľa verziovaného kontraktu a vracia predikciu konkrétnej alebo smerovanej verzie modelu. Definuje autentifikáciu, schému, limity, timeouty a chybové odpovede, nie iba URL.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Aplikácia posiela JSON s povinnými poľami a identifikátorom požiadavky. Endpoint odmietne neznámu verziu schémy, obmedzí veľkosť dávky a v odpovedi uvedie verziu modelu aj korelačný identifikátor.

Overiteľnosť

Odborné zdroje

  1. TensorFlow - Serving Modelstensorflow.org
  2. TensorFlow - TensorFlow Serving configurationtensorflow.org

Praktické odpovede

Často kladené otázky

Ako funguje inferenčný endpoint?

Gateway overí klienta a kontrakt, nasmeruje požiadavku na serving backend a štandardizuje odpoveď.

Kedy má inferenčný endpoint praktický význam?

Aplikácia posiela JSON s povinnými poľami a identifikátorom požiadavky.

S čím si pojem nezamieňať?

Endpoint je technické rozhranie; predikčná služba je širší komponent s logikou, závislosťami a prevádzkovou zodpovednosťou.

Ako sa výsledok kontroluje?

Testuje sa kontrakt, autentifikácia, limity, idempotencia, timeouty, chybové kódy, verzovanie a záťaž.

Na čo si dať pozor?

Neobmedzený vstup alebo nejasné chybové správy môžu spôsobiť preťaženie a tiché používanie fallbacku.