Slovník výrazov AI/Hardvér a efektívny výpočet

Hardvér a efektívny výpočet

tenzorový procesor

Anglický výraz tensor processing unit

základnéheslo č. 14035 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená tenzorový procesor?

Tenzorový procesor je Google ASIC navrhnutý na akceleráciu strojového učenia, najmä maticových násobení v jednotkách MXU. TPU sa používa ako samostatný čip alebo prepojený slice či pod s vysokorýchlostnou komunikáciou.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím benchmarkuje JAX alebo PyTorch model na zvolenej TPU topológii, sleduje kompiláciu, padding a komunikáciu a porovnáva cenu za spracovaný príklad.

Overiteľnosť

Odborné zdroje

  1. Google Cloud - TPU system architecturedocs.cloud.google.com
  2. NVIDIA - GPU Performance Background User's Guidedocs.nvidia.com

Praktické odpovede

Často kladené otázky

Čo presne znamená tenzorový procesor?

Tenzorový procesor je Google ASIC navrhnutý na akceleráciu strojového učenia, najmä maticových násobení v jednotkách MXU.

Kedy sa tenzorový procesor používa?

Tím benchmarkuje JAX alebo PyTorch model na zvolenej TPU topológii, sleduje kompiláciu, padding a komunikáciu a porovnáva cenu za spracovaný príklad.

Od čoho treba tenzorový procesor odlíšiť?

GPU je všeobecnejší paralelný procesor. TPU je aplikačne špecifický akcelerátor s architektúrou zameranou na ML tenzory.

Ako sa tenzorový procesor kontroluje?

Kontroluje sa podporovaný framework, tvar tenzorov, dtype, veľkosť slice, interchip komunikácia, HBM a kompilované operátory.

Aké obmedzenie má tenzorový procesor?

Nepravidelný model alebo malé dávky nemusia využiť MXU a čas kompilácie či komunikácie môže prevážiť výpočet.