Presná definícia
Čo znamená pamäť s vysokou priepustnosťou?
Pamäť s vysokou priepustnosťou je 3D skladaná DRAM pripojená k procesoru veľmi širokým rozhraním, ktoré poskytuje vysoký dátový tok pri kratších spojoch. V AI zásobuje paralelné jednotky váhami, aktiváciami a gradientmi.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri LLM tím overí, či sa váhy a KV cache zmestia do HBM a profiluje dosiahnuté GB/s. Kapacitu, bandwidth a cenu posudzuje oddelene.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená pamäť s vysokou priepustnosťou?
Pamäť s vysokou priepustnosťou je 3D skladaná DRAM pripojená k procesoru veľmi širokým rozhraním, ktoré poskytuje vysoký dátový tok pri kratších spojoch.
Kedy sa pamäť s vysokou priepustnosťou používa?
Pri LLM tím overí, či sa váhy a KV cache zmestia do HBM a profiluje dosiahnuté GB/s.
Od čoho treba pamäť s vysokou priepustnosťou odlíšiť?
Bežná systémová DRAM má spravidla väčšiu vzdialenosť a užšie rozhranie. HBM maximalizuje lokálnu priepustnosť pri akcelerátore.
Ako sa pamäť s vysokou priepustnosťou kontroluje?
Kontroluje sa kapacita, teoretické a dosiahnuté pásmo, typ HBM, prístupový vzor, cache hit rate, ECC a teplota.
Aké obmedzenie má pamäť s vysokou priepustnosťou?
Vysoké pásmo nepomôže pri náhodných prístupoch, malej paralelizácii alebo modeli, ktorý sa do dostupnej HBM nezmestí.