Presná definícia
Čo znamená počet parametrov?
Počet parametrov je počet naučiteľných skalárnych hodnôt modelu, prípadne s osobitne uvedenými zmrazenými a zdieľanými váhami. Neurčuje priamo počet operácií, pamäť aktivácií ani kvalitu modelu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri LoRA tím reportuje celkový aj trénovateľný parameter count a presne uvádza, či zdieľané embeddings počíta raz. Doplní diskovú veľkosť.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená počet parametrov?
Počet parametrov je počet naučiteľných skalárnych hodnôt modelu, prípadne s osobitne uvedenými zmrazenými a zdieľanými váhami.
Kedy sa počet parametrov používa?
Pri LoRA tím reportuje celkový aj trénovateľný parameter count a presne uvádza, či zdieľané embeddings počíta raz.
Od čoho treba počet parametrov odlíšiť?
Model size je počet uložených bajtov. Parameter count je počet skalárov bez ohľadu na ich bitovú reprezentáciu.
Ako sa počet parametrov kontroluje?
Kontroluje sa trainable versus frozen stav, weight tying, buffers, experts, adapters, dtype a súlad súčtu tvarov s reportom frameworku.
Aké obmedzenie má počet parametrov?
Dva modely s rovnakým počtom parametrov môžu mať inú latenciu, pamäť aktivácií aj výkon podľa architektúry.