Presná definícia
Čo znamená ladenie adaptérov?
Ladenie adaptérov vkladá do zmrazeného predtrénovaného modelu malé trénovateľné moduly, často projekciu do úzkeho priestoru, nelinearitu a projekciu späť s reziduálnym spojením. Pre každú úlohu sa ukladajú adaptéry namiesto celej kópie modelu. Úspora parametrov neznamená nulové náklady: moduly pridávajú operácie a ich umiestnenie ovplyvňuje kvalitu aj latenciu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Firma drží jeden základný model a pre oddelenia trénuje malé adaptéry na ich dátach. Základný checkpoint sa nemení, adaptéry sa verziujú a pri požiadavke sa aktivuje správna sada. Tím porovná viac veľkostí úzkeho hrdla, meria celkové trénované parametre, latenciu a pamäť. Pred zlúčením alebo skladaním adaptérov sa testujú interakcie; samostatne dobré moduly nemusia fungovať spolu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako vyzerá typický adaptér?
Úzka projekcia, nelinearita, spätná projekcia a reziduálne pridanie.
Menia sa pôvodné váhy?
Pri klasickom adapter tuningu zostávajú zmrazené.
Čo sa ukladá pre úlohu?
Iba adaptéry a prípadná výstupná hlava.
Je inferencia bez dodatočných nákladov?
Nie, vložené moduly pridávajú výpočet.
Možno adaptéry ľubovoľne skladať?
Treba to overiť, pretože ich zásahy sa môžu rušiť.