Presná definícia
Čo znamená zákon škálovania?
Zákon škálovania v strojovom učení je empirický vzťah, podľa ktorého sa strata alebo iná metrika v určitom rozsahu približne mení mocninovo s počtom parametrov, objemom dát alebo výpočtom. Nie je fyzikálnym zákonom ani zárukou pokračovania trendu; koeficienty závisia od architektúry, dát, cieľa a režimu merania.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Výskumný tím natrénuje viac menších modelov, prispôsobí krivku a odhadne kompromis dát, parametrov a výpočtu pred drahým behom. Extrapoláciu sprevádzajú intervaly neistoty a kontrola, či sa nemení dátová kvalita alebo recept. Rozhodnutie sa nemá opierať o jednu metriku, ak produkt vyžaduje bezpečnosť či presnosť konkrétnej úlohy.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje zákon škálovania?
Log-log regresia odhaduje exponent poklesu chyby pri raste zdroja a môže oddeliť členy spojené s dátami, modelom a nenapraviteľnou stratou.
Kedy má zákon škálovania praktický význam?
Výskumný tím natrénuje viac menších modelov, prispôsobí krivku a odhadne kompromis dát, parametrov a výpočtu pred drahým behom.
S čím si pojem nezamieňať?
Výpočtovo optimálne trénovanie používa škálovacie výsledky na rozdelenie fixného rozpočtu; zákon škálovania je samotný empirický model trendu.
Ako sa výsledok kontroluje?
Kontroluje sa kvalita fitu, rezíduá, stabilita exponentov, nezávislé väčšie behy a citlivosť na zloženie dát.
Na čo si dať pozor?
Extrapolácia mimo meraného rozsahu môže zlyhať pri saturácii, zmene architektúry alebo nedostatku kvalitných dát; priemer skrýva úlohové výnimky.