Presná definícia
Čo znamená adaptácia nízkej hodnosti?
Adaptácia nízkej hodnosti zmrazí základné váhy modelu a učí iba nízkohodnostný prírastok ΔW=BA v vybraných vrstvách. LoRA znižuje počet trénovaných parametrov a umožňuje uchovávať viac úlohových adaptérov.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Tím trénuje LoRA adaptér pre doménový text, zaznamená rank, cieľové moduly a verziu základného modelu a porovná kvalitu s plným doladením.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Čo presne znamená adaptácia nízkej hodnosti?
Adaptácia nízkej hodnosti zmrazí základné váhy modelu a učí iba nízkohodnostný prírastok ΔW=BA v vybraných vrstvách.
Kedy sa adaptácia nízkej hodnosti používa?
Tím trénuje LoRA adaptér pre doménový text, zaznamená rank, cieľové moduly a verziu základného modelu a porovná kvalitu s plným doladením.
Od čoho treba adaptácia nízkej hodnosti odlíšiť?
Low-rank approximation komprimuje existujúcu maticu. LoRA učí nový nízkohodnostný update počas adaptácie.
Ako sa adaptácia nízkej hodnosti kontroluje?
Kontroluje sa rank, alpha, target modules, dropout, trainable parameter count, base-model hash, merge numerika a eval mimo domény.
Aké obmedzenie má adaptácia nízkej hodnosti?
Malý adaptér stále môže naučiť nežiaduce správanie a bez presnej verzie základného modelu nie je reprodukovateľný.