Presná definícia
Čo znamená kontrolné body aktivácií?
Kontrolné body aktivácií znižujú pamäť tak, že počas forwardu uchovajú iba vybrané medzivýsledky a chýbajúce aktivácie znovu vypočítajú pri backward. Ide o výmenný obchod pamäť za dodatočný výpočet, nie o ukladanie modelových checkpointov na disk. Správnosť vyžaduje, aby opakovaný úsek mal konzistentné vstupy, náhodný stav a vedľajšie účinky.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Checkpointing sa zapína pre pamäťovo drahé bloky, napríklad skupiny transformer vrstiev, a profilom sa zmeria ušetrená pamäť aj nárast času. Tím testuje zhodu loss a gradientov s verziou bez recompute na malom modeli. Dropout potrebuje zachovanie RNG stavu; globálne mutácie alebo odlišné zariadenie počas spätného prepočtu môžu dať nesprávny gradient. Selektívne checkpointovanie býva výhodnejšie než obalenie každej malej operácie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Je to uloženie tréningu na disk?
Nie, ide o dočasnú stratégiu pre aktivácie v jednom kroku.
Čo sa prepočíta?
Forward operácie medzi uloženými hranicami počas backwardu.
Čo sa ušetrí?
Neuložené medzivrstvové aktivácie potrebné pre gradient.
Prečo ho zachovať?
Dropout a iné náhodné operácie musia pri prepočte použiť konzistentné masky.
Aký je kompromis?
Menšia špičková pamäť za viac forward výpočtu a dlhší krok.