Fine-tuning modelov

Fine-tuning má zmysel vtedy, keď treba opakovane meniť správanie modelu, nie keď mu iba chýba aktuálny fakt. Pred výberom metódy treba oddeliť problém znalostí, štýlu a procesu.

Predtrénovaný jazykový model pozná všeobecné jazykové vzory a množstvo faktických či procedurálnych súvislostí, ale nemusí sa správať ako užitočný asistent. Môže iba pokračovať v texte, nepoznať požadovaný firemný formát alebo nespoľahlivo rozlišovať konkrétne kategórie. Fine-tuning mení jeho parametre alebo k modelu pridáva malé trénovateľné komponenty tak, aby sa zvýšila pravdepodobnosť požadovaných výstupov. Najjednoduchší príklad obsahuje vstup a kvalitnú cieľovú odpoveď. Model vygeneruje distribúciu tokenov, vypočíta stratu voči cieľu, gradient a aktualizáciu parametrov. Po mnohých príkladoch sa učí nielen slovník, ale aj spôsob interpretácie úlohy, štruktúru odpovede, rozhodovacie hranice a štýl demonštrácií. Fine-tuning však nie je automatický import databázy ani univerzálna oprava modelu. Úzky dataset môže zlepšiť cieľovú úlohu a súčasne poškodiť všeobecné schopnosti, bezpečnosť či kalibráciu. Preto nadväzujeme na celý životný cyklus z kapitoly 3 - Tréning modelov, riziko halucinácií a prácu s kontextovým oknom. Externé meniace sa poznanie bude osobitne riešiť kapitola 7 - RAG. Teacher forcing poskytne modelu pri každej tréningovej pozícii správny prefix cieľovej odpovede a požaduje predikciu ďalšieho tokenu.

Ťažisko tvoria časti „Čo sa pri fine-tuningu matematicky deje“, „Kde fine-tuning patrí v životnom cykle“ a „Čo fine-tuning dokáže a čo negarantuje“. Nejde iba o vysvetlenie pojmov. Kapitola ich prepája s rozhodnutiami, príkladmi a hranicami, ktoré treba poznať pri reálnom použití.

Po prečítaní budete vedieť rozlíšiť fine-tuning od promptovania a RAG a určiť vhodné prípady pre dolaďovanie modelu. Praktickým výsledkom bude schopnosť navrhnúť dáta a evaluáciu pred spustením tréningu.

Kapitola odpovedá aj na otázku „Kedy použiť fine-tuning?“ Keď potrebujete stabilne meniť formát, štýl alebo správanie v opakovanej úlohe a máte kvalitné príklady aj spôsob merania výsledku.