Presná definícia
Čo znamená pamäťová stopa?
Pamäťová stopa je celkové množstvo pamäte obsadené modelom počas konkrétnej fázy behu. Zahŕňa váhy, aktivácie, pracovné buffery, cache a pri tréningu aj gradienty a stavy optimalizátora.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím meria peak allocated aj reserved memory pri cieľovej dĺžke sekvencie a batchi. Oddelí váhy, KV cache a dočasný workspace.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená pamäťová stopa?
Pamäťová stopa je celkové množstvo pamäte obsadené modelom počas konkrétnej fázy behu.
Kedy sa pamäťová stopa používa?
Tím meria peak allocated aj reserved memory pri cieľovej dĺžke sekvencie a batchi.
Od čoho treba pamäťová stopa odlíšiť?
Model size opisuje najmä uložený artefakt. Memory footprint opisuje rezidentnú a špičkovú pamäť počas vykonania.
Ako sa pamäťová stopa kontroluje?
Kontroluje sa batch, input shape, dtype, activations, workspace, allocator cache, fragmentation, KV cache a viac súbežných požiadaviek.
Aké obmedzenie má pamäťová stopa?
Priemerné využitie môže zakryť peak, ktorý spôsobí OOM, a allocator môže rezervovať viac pamäte, než ukazuje súčet tenzorov.