Slovník výrazov AI/Veľké jazykové modely

Veľké jazykové modely

inštrukčné ladenie

Anglický výraz instruction tuning

špecializovanéheslo č. 4955 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená inštrukčné ladenie?

Inštrukčné ladenie prispôsobuje predtrénovaný model na kolekcii úloh zapísaných ako inštrukcia, vstup a želaná odpoveď, aby lepšie nasledoval nové pokyny. Najčastejšie ide o dolaďovanie s učiteľom na mnohých šablónach a doménach; môže byť prvou fázou pred preferenčným učením. Nezaručuje pravdivosť ani bezpečnosť mimo tréningového rozdelenia.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Používa sa pri tvorbe asistenta z generického jazykového modelu. Dátový súbor vyvažuje typy úloh, jazyky, odmietnutia a kvalitu odpovedí a oddeľuje šablóny medzi tréningom a testom. Po ladení sa porovná schopnosť plniť pokyny, zachovanie znalostí a odolnosť voči konfliktným či vloženým inštrukciám.

Overiteľnosť

Odborné zdroje

  1. Training Language Models to Follow Instructions with Human Feedbackarxiv.org
  2. LIMA: Less Is More for Alignmentarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje inštrukčné ladenie?

Krížová entropia zvyšuje pravdepodobnosť referenčnej odpovede podmienenej inštrukciou; rozmanitosť úloh učí spoločný formát nasledovania pokynov.

Kedy má inštrukčné ladenie praktický význam?

Používa sa pri tvorbe asistenta z generického jazykového modelu.

S čím si pojem nezamieňať?

Supervised dolaďovanie je všeobecná metóda na označených pároch; inštrukčné ladenie je jej použitie so zmesou prirodzených inštrukcií a odpovedí.

Ako sa výsledok kontroluje?

Kontroluje sa úspešnosť nevidených pokynov, formát, faktickosť, odmietnutia, katastrofické zabúdanie a výkon podľa jazykov.

Na čo si dať pozor?

Nízko kvalitné alebo homogénne ukážky naučia štýl bez správnosti; model môže prehnane súhlasiť alebo nasledovať konfliktujúci text.