Slovník výrazov AI/Hardvér a efektívny výpočet

Hardvér a efektívny výpočet

inferencia na okraji siete

Anglický výraz edge inference

základnéheslo č. 14155 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená inferencia na okraji siete?

Inferencia na okraji siete je vykonanie natrénovaného modelu na edge zariadení alebo blízkom lokálnom uzle, kde vznikajú vstupy. Odpoveď môže vzniknúť bez cloudového round-trip, no model musí spĺňať miestne limity.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Pri kontrole výroby kamera vyhodnotí snímku pri linke a okamžite zastaví chybný kus. Cloud slúži na agregáciu metrík a distribúciu verzií.

Overiteľnosť

Odborné zdroje

  1. Arm - Explore Edge AIdeveloper.arm.com
  2. NVIDIA - TensorRT performance benchmarkingdocs.nvidia.com

Praktické odpovede

Často kladené otázky

Čo presne znamená inferencia na okraji siete?

Inferencia na okraji siete je vykonanie natrénovaného modelu na edge zariadení alebo blízkom lokálnom uzle, kde vznikajú vstupy.

Kedy sa inferencia na okraji siete používa?

Pri kontrole výroby kamera vyhodnotí snímku pri linke a okamžite zastaví chybný kus.

Od čoho treba inferencia na okraji siete odlíšiť?

Edge AI je širší systémový prístup. Edge inference je konkrétna fáza výpočtu predikcie mimo centrálneho cloudu.

Ako sa inferencia na okraji siete kontroluje?

Kontroluje sa end-to-end latencia, preprocessing, podporované operátory, pamäť, termika, offline režim, drift a aktualizácie.

Aké obmedzenie má inferencia na okraji siete?

Lokálne zariadenie môže bežať so zastaraným modelom a obmedzený monitoring sťaží odhalenie poklesu kvality.