Presná definícia
Čo znamená dolaďovanie?
Dolaďovanie pokračuje v gradientovom tréningu predtrénovaného modelu na cieľových dátach. Môže meniť všetky parametre alebo iba vybrané vrstvy; od extrakcie príznakov sa líši tým, že aspoň časť predtrénovanej reprezentácie aktualizuje. Menšia cieľová sada vyžaduje nižšie rýchlosti učenia, regularizáciu a kontrolu, či model nezabúda užitočné všeobecné vlastnosti.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri textovej klasifikácii sa najprv natrénuje lineárna hlava nad zmrazeným modelom. Potom sa postupne rozmrazia horné vrstvy a použije nižšia rýchlosť učenia pre chrbticu než pre hlavu. Výber checkpointu sa robí na validácii, nie na tréningovej strate. Tím porovná plné dolaďovanie s adaptérmi a lineárnou sondou, meria stabilitu naprieč seedmi a kontroluje pokles na pôvodných úlohách.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Musia sa meniť všetky váhy?
Nie, dolaďovať možno iba vybrané vrstvy.
Prečo býva menšia?
Veľké kroky môžu zničiť užitočnú predtrénovanú reprezentáciu.
Je tréning novej hlavy dolaďovanie?
Ak je chrbtica úplne zmrazená, presnejšie ide o extrakciu príznakov.
Prečo je časté?
Cieľová sada býva malá vzhľadom na počet parametrov.
Čo treba kontrolovať?
Či adaptácia nezhoršila schopnosti potrebné mimo úzkej cieľovej úlohy.