Slovník výrazov AI/Hardvér a efektívny výpočet

Hardvér a efektívny výpočet

priepustnosť pamäte

Anglický výraz memory bandwidth

pokročiléheslo č. 14395 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená priepustnosť pamäte?

Priepustnosť pamäte je objem dát, ktorý možno preniesť medzi pamäťou a procesorom za jednotku času, typicky v GB/s alebo TB/s. Reálny dosiahnutý tok závisí od prístupového vzoru, cache a súbehu požiadaviek.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Tím porovná požadované bajty operácie s runtime a dosiahnutým GB/s. Pri memory-bound modeli skúša fúziu, tiling a menšiu numerickú presnosť.

Overiteľnosť

Odborné zdroje

  1. NVIDIA - GPU Performance Background User's Guidedocs.nvidia.com
  2. OpenXLA XProf - HLO operation profileopenxla.org

Praktické odpovede

Často kladené otázky

Čo presne znamená priepustnosť pamäte?

Priepustnosť pamäte je objem dát, ktorý možno preniesť medzi pamäťou a procesorom za jednotku času, typicky v GB/s alebo TB/s.

Kedy sa priepustnosť pamäte používa?

Tím porovná požadované bajty operácie s runtime a dosiahnutým GB/s.

Od čoho treba priepustnosť pamäte odlíšiť?

Kapacita pamäte určuje, koľko dát sa zmestí. Memory bandwidth určuje, ako rýchlo sa môžu dáta prenášať.

Ako sa priepustnosť pamäte kontroluje?

Kontroluje sa teoretické a efektívne pásmo, čítanie a zápis, cache hit rate, coalescing, batch, profiler counters a typ pamäte.

Aké obmedzenie má priepustnosť pamäte?

Marketingové maximum je merané v ideálnych podmienkach a nepravidelné prístupy môžu využiť iba malú časť pásma.