Presná definícia
Čo znamená zmes expertov?
Zmes expertov obsahuje viac expertných podsietí a smerovač, ktorý pre každý vstup alebo token určí ich váhy či vyberie top-k expertov. Pri riedkej MoE sa aktivuje len malá časť parametrov, takže celková kapacita rastie bez úmerného počtu operácií na príklad. Tréning potrebuje vyvažovanie záťaže, inak smerovač preťaží niekoľko expertov a ostatní sa neučia.
Skúsenosť a kontext
Ako sa pojem používa v praxi
MoE sa používa pri veľkých modeloch, kde je dôležitá kapacita pri obmedzenom výpočte. Tím nastaví počet expertov, top-k, kapacitu fronty a pomocnú loss pre rovnomerné smerovanie. Profilovanie zahŕňa komunikáciu medzi zariadeniami, zahodené tokeny a najhoršie zaťaženého experta; priemerná FLOP hodnota nestačí. Diagnostika sleduje špecializáciu aj stabilitu routera a testuje, či zlyhanie jedného experta nepoškodí úzku skupinu vstupov.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo vytvára?
Skóre expertov a výber alebo váhy pre konkrétny vstup.
Prečo nerastie výpočet s celou kapacitou?
Aktivuje sa iba top-k z dostupných expertov.
Na čo slúži pomocná strata?
Bráni sústredeniu väčšiny tokenov do malého počtu expertov.
Čo je expert capacity?
Limit tokenov, ktoré expert spracuje v jednej dávke.
Prečo môže dominovať latencii?
Tokeny sa často presúvajú k expertom umiestneným na iných zariadeniach.