Presná definícia
Čo znamená ladenie prefixu?
Ladenie prefixu učí pre každú úlohu spojité prefixové reprezentácie, ktoré sa vkladajú do aktivačných stavov transformera, typicky ako kľúče a hodnoty pozornosti vo viacerých vrstvách. Základný jazykový model zostáva zmrazený. Oproti ladeniu promptu teda zásah nemusí byť iba na vstupnej vrstve; cena inferencie rastie o dĺžku prefixu v každom kroku.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri generovaní rôznych typov dokumentov má každá úloha vlastný prefix a spoločný zmrazený model. Tím nastaví dĺžku prefixu, regularizáciu a dekódovanie, potom meria kvalitu aj latenciu, pretože prefix zväčšuje pamäť pozornosti. Artefakt musí obsahovať presnú architektúru a checkpoint. Porovnanie s mäkkým promptom a adaptérmi ukáže, či hlbšie ovplyvnenie vrstiev ospravedlňuje vyššie prevádzkové náklady.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Kde sa prefix používa?
V stavoch pozornosti viacerých transformačných vrstiev.
Aktualizuje sa celý model?
Nie, učia sa najmä prefixové parametre.
Čím sa líši od prompt tuningu?
Prefix môže priamo ovplyvňovať každú vrstvu, nie iba vstupné vnorovania.
Prečo môže byť vyššia?
Prefix predlžuje kontext kľúčov a hodnôt pozornosti.
Možno prepínať úlohy?
Áno, výmenou malého súboru prefixových parametrov.