Presná definícia
Čo znamená predtrénovaný jazykový model?
Predtrénovaný jazykový model je neurónový model, ktorého parametre boli najprv naučené zo všeobecného textu pomocou úlohy modelovania jazyka a až potom použité alebo doladené na konkrétnu úlohu. Predtrénovanie poskytuje syntaktické a sémantické reprezentácie, ale neznamená overenú databázu faktov ani automatickú vhodnosť pre cieľovú doménu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa ako východisko pre klasifikáciu, extrakciu, odpovedanie a generovanie. Tím vyberá kauzálny alebo maskovaný cieľ podľa úlohy, testuje jazyk a doménu a rozhoduje medzi promptom, adaptérmi a plným doladením. Verzia modelu, tokenizér a tréningový recept sa evidujú spolu, inak výsledok nemožno spoľahlivo reprodukovať.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje predtrénovaný jazykový model?
Sebariadený cieľ vytvorí tréningové páry priamo z textu; následná adaptácia zmení správanie pomocou menšieho označeného alebo inštrukčného súboru.
Kedy má predtrénovaný jazykový model praktický význam?
Používa sa ako východisko pre klasifikáciu, extrakciu, odpovedanie a generovanie.
S čím si pojem nezamieňať?
LLM zdôrazňuje veľký rozsah a všeobecné schopnosti; predtrénovaný jazykový model môže byť aj menší a úzko špecializovaný.
Ako sa výsledok kontroluje?
Meria sa predtrénovacia strata, prenos na nezadržané úlohy, doménový posun, kalibrácia a rozdiel pred a po doladení.
Na čo si dať pozor?
Model môže preniesť historické skreslenia, neaktuálne znalosti a memorované údaje; doladenie môže zhoršiť pôvodné schopnosti.