Presná definícia
Čo znamená dolaďovanie s učiteľom?
Dolaďovanie s učiteľom (SFT) pokračuje v tréningu predtrénovaného modelu na označených vstupno-výstupných pároch a minimalizuje stratu voči referenčným odpovediam. Môže aktualizovať všetky parametre alebo iba adaptéry. Kvalita a distribúcia demonštrácií priamo určujú správanie; jedna referenčná odpoveď však nemusí pokrývať všetky prijateľné riešenia.
Skúsenosť a kontext
Ako sa pojem používa v praxi
SFT sa používa na doménové úlohy, formátovanie, dialóg a ako inicializácia pred RLHF či DPO. Dáta sa deduplikujú, rozdelia podľa zdroja a kontrolujú expertmi; tajomstvá a osobné údaje sa odstránia. Eval porovnáva základný a doladený model na cieľových aj všeobecných úlohách, aby odhalil preučenie a zabúdanie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje dolaďovanie s učiteľom?
Teacher forcing poskytne modelu správny prefix a krížová entropia zvýši pravdepodobnosť označených výstupných tokenov.
Kedy má dolaďovanie s učiteľom praktický význam?
SFT sa používa na doménové úlohy, formátovanie, dialóg a ako inicializácia pred RLHF či DPO.
S čím si pojem nezamieňať?
Inštrukčné ladenie je konkrétne SFT na rôznorodých inštrukciách; SFT môže učiť aj klasifikáciu, doménový štýl alebo inú označenú úlohu.
Ako sa výsledok kontroluje?
Meria sa validačná strata, úlohový výkon, faktickosť, generalizácia na nové šablóny, zabúdanie a stabilita viacerých behov.
Na čo si dať pozor?
Malý alebo chybný súbor sa ľahko memoruje, úzky štýl zníži rozmanitosť a príliš silné kroky poškodia schopnosti z predtrénovania.