Slovník výrazov AI/Hardvér a efektívny výpočet

Hardvér a efektívny výpočet

akcelerátor dátového centra

Anglický výraz data center accelerator

základnéheslo č. 14105 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená akcelerátor dátového centra?

Akcelerátor dátového centra je prídavný procesor v serveri určený na zrýchlenie vybraných workloadov, napríklad AI, sieťovania alebo spracovania videa. Pri AI poskytuje vysokú priepustnosť, virtualizáciu a škálovanie v racku.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím zvolí akcelerátor podľa latencia SLO, batchu a modelovej pamäte, nasadí monitoring teploty a chýb a overí výkon pri súbehu tenantov.

Overiteľnosť

Odborné zdroje

  1. NVIDIA - TensorRT documentationdocs.nvidia.com
  2. NVIDIA - Multi-node NVLink Systems Tuning Guidedocs.nvidia.com

Praktické odpovede

Často kladené otázky

Čo presne znamená akcelerátor dátového centra?

Akcelerátor dátového centra je prídavný procesor v serveri určený na zrýchlenie vybraných workloadov, napríklad AI, sieťovania alebo spracovania videa.

Kedy sa akcelerátor dátového centra používa?

Tím zvolí akcelerátor podľa latencia SLO, batchu a modelovej pamäte, nasadí monitoring teploty a chýb a overí výkon pri súbehu tenantov.

Od čoho treba akcelerátor dátového centra odlíšiť?

On-device NPU pracuje v koncovom zariadení s nízkym príkonom. Data center accelerator cieli na serverovú kapacitu a viac používateľov.

Ako sa akcelerátor dátového centra kontroluje?

Kontroluje sa form factor, napájanie, chladenie, PCIe alebo fabric, virtualizácia, HBM, RAS funkcie a výkon pod záťažou.

Aké obmedzenie má akcelerátor dátového centra?

Benchmark jedného zariadenia nemusí predpovedať výkon racku, kde rozhoduje sieť, napájanie, chladenie a zdieľanie zdrojov.