Presná definícia
Čo znamená iterácia?
Iterácia je jedno opakovanie základného kroku algoritmu s aktuálnym stavom: napríklad výpočet straty na dávke, gradientu a aktualizácie parametrov. Význam závisí od metódy; pri optimalizácii môže zahŕňať viac vyhodnotení cieľovej funkcie a pri iteratívnej inferencii nemusí spracúvať tréningové dáta. Preto počet iterácií nie je priamo porovnateľný bez definície kroku, dávky a výpočtovej ceny.
Skúsenosť a kontext
Ako sa pojem používa v praxi
V tréningovom logu sa iterácia počíta po úspešnej aktualizácii parametrov, nie po načítaní dávky. Zapisuje sa strata, rýchlosť učenia, norma gradientu, čas a počet spracovaných tokenov; pri akumulácii gradientu sa odlíšia mikrodávky od optimalizačného kroku. Porovnanie behov sa robí aj podľa výpočtového rozpočtu a videných dát, lebo 10 000 krokov s rôznou dávkou nie je rovnaká práca. Ak strata osciluje alebo vznikajú nečíselné hodnoty, kontroluje sa škálovanie, presnosť a clipping. Obnova z checkpointu musí obnoviť aj čítač a stav optimalizátora.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne sa počíta ako iterácia?
Určuje to algoritmus; pri SGD zvyčajne jedna aktualizácia parametrov.
Koľko iterácií tvorí epochu?
Pri bežnom dávkovaní počet dávok potrebných na spracovanie tréningovej množiny.
Je každá mikrodávka iterácia?
Môže byť výpočtovým krokom, no parametre sa menia až po akumulácii.
Zaručí viac iterácií lepší model?
Nie; optimalizácia sa môže zastaviť, rozkolísať alebo preučiť.
Kedy možno porovnať počty iterácií?
Keď majú rovnakú definíciu kroku, dáta, dávku a približnú cenu.