Presná definícia
Čo znamená modelový paralelizmus?
Modelový paralelizmus rozdeľuje parametre a výpočet jedného modelu medzi viac zariadení, aby sa nemusel celý zmestiť na jednom. Delenie môže byť po vrstvách, operáciách, expertných moduloch alebo tenzorových dimenziách. Aktivácie a gradienty musia prechádzať medzi oddielmi, takže umiestnenie hraníc rozhoduje o komunikácii, pamäti aj využití zariadení.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa, keď model presahuje pamäť jedného akcelerátora alebo sa vyžaduje kombinácia s dátovým paralelizmom. Tím najprv zmeria pamäť parametrov, optimizer stavov a aktivácií a potom zvolí rozdelenie, ktoré vyvažuje prácu. Prenosy sa profilujú na skutočnej topológii spojov. Jednoduché rozdelenie po vrstvách môže nechať väčšinu zariadení čakať; pipeline alebo tensor parallelism zvyšujú súbeh za cenu zložitejšej komunikácie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo sa rozdeľuje?
Parametre a operácie jedného modelu, nie iba príklady dávky.
Čo prechádza medzi oddielmi?
Aktivácie vpred a ich gradienty späť.
Aký problém rieši?
Model a jeho stav, ktorý sa nezmestí na jedno zariadenie.
Prečo zariadenia čakajú?
Sekvenčný prechod oddielmi môže v danom čase aktivovať iba jeden z nich.
S čím sa kombinuje?
S dátovým, pipeline, tenzorovým alebo expertným paralelizmom.