Presná definícia
Čo znamená pipeline paralelizmus?
Pipeline paralelizmus rozdelí po sebe idúce vrstvy modelu do etáp na rôznych zariadeniach a dávku rozseká na mikro-dávky. Kým neskoršia etapa spracúva jednu mikro-dávku, skoršia môže začať ďalšiu, čím sa prekrýva práca etáp. Nevyužitý čas na začiatku, konci a pri nerovnomerných etapách tvorí pipeline bubble; schedule určuje poradie forward a backward.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím profiluje vrstvy, aby etapy mali podobný čas aj pamäť, a zvolí počet mikro-dávok dostatočný na zmenšenie bubliny. Aktivácie sa prenášajú iba medzi susednými etapami, no musia sa uchovať alebo recomputovať do backward. Schedule GPipe alebo 1F1B mení špičkovú pamäť a oneskorenie aktualizácie. Pri BatchNorm a náhodných vrstvách sa overí, že mikro-dávky nemenia zamýšľanú štatistiku.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo obsahuje?
Súvislý alebo logický oddiel vrstiev umiestnený na jednom pracovníkovi.
Prečo vzniká?
Umožní súbežne zaplniť viac etáp pipeline.
Čo znamená?
Čas, keď etapa čaká, lebo pipeline sa ešte plní alebo už vyprázdňuje.
Čo riadi?
Poradie forward a backward mikro-dávok na každej etape.
Prečo je dôležité?
Najpomalšia etapa určuje takt a ostatné budú čakať.