Presná definícia
Čo znamená predikcia ďalšieho tokenu?
Predikcia ďalšieho tokenu je tréningový a inferenčný cieľ, pri ktorom model z prefixu x≤t odhaduje rozdelenie p(x_{t+1}|x≤t). Tréning používa známy ďalší token ako cieľ krížovej entropie; pri generovaní sa z rozdelenia vyberie token a cyklus sa opakuje. Token závisí od tokenizéra, nie nevyhnutne od slova.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Cieľ sa používa pri predtrénovaní kauzálnych LLM a pri automatickom dopĺňaní. Vývojár sleduje stratu podľa domén a dĺžky, no pre produkt pridá úlohové evaly, pretože lokálna predikcia sama nemeria pravdivosť celej odpovede. Pri inferencii sa dokumentuje teplota, top-p a ukončovacie pravidlá.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje predikcia ďalšieho tokenu?
Transformer vypočíta logity nad slovníkom, softmax ich zmení na pravdepodobnosti a strata zvýhodní token, ktorý v korpuse skutočne nasledoval.
Kedy má predikcia ďalšieho tokenu praktický význam?
Cieľ sa používa pri predtrénovaní kauzálnych LLM a pri automatickom dopĺňaní.
S čím si pojem nezamieňať?
Autoregresný model je architektúra alebo faktorizácia celej sekvencie; predikcia ďalšieho tokenu je konkrétny krok a cieľ učenia.
Ako sa výsledok kontroluje?
Meria sa krížová entropia, top-k presnosť, perplexita, kalibrácia tokenov a výkon celých vygenerovaných odpovedí.
Na čo si dať pozor?
Viacero pokračovaní môže byť správnych, hoci tréning ukazuje jedno; optimalizácia lokálneho cieľa môže vytvoriť dlhodobo nekonzistentný text.