Presná definícia
Čo znamená maximálny počet výstupných tokenov?
Maximálny počet výstupných tokenov je tvrdý limit, koľko tokenov smie dekodér vytvoriť pre jednu odpoveď alebo generovanú sekvenciu. Po dosiahnutí sa výstup ukončí aj bez prirodzeného konca. Limit sa počíta v tokenoch konkrétneho tokenizéra a môže byť zároveň obmedzený spoločným kontextovým oknom či rozhraním modelu.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa na kontrolu latencie, ceny a rozsahu odpovede. Hodnota sa nastaví podľa distribúcie potrebnej dĺžky s rezervou a aplikácia kontroluje dôvod ukončenia. Ak bol výstup odrezaný, nemá sa automaticky považovať za úplný JSON, vetu alebo rozhodnutie; systém môže po validácii požiadať o pokračovanie.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje maximálny počet výstupných tokenov?
Generačná slučka zvyšuje počítadlo pri každom novom tokene a zastaví sa pri limite alebo pri skoršom EOS či stop vzore.
Kedy má maximálny počet výstupných tokenov praktický význam?
Používa sa na kontrolu latencie, ceny a rozsahu odpovede.
S čím si pojem nezamieňať?
Dĺžka kontextu určuje kapacitu vstupu a dostupnej histórie; maximálny výstup určuje iba počet novovytvorených tokenov.
Ako sa výsledok kontroluje?
Meria sa podiel odpovedí ukončených limitom, validita formátu, skutočná dĺžka, latencia a cena na úspešnú úlohu.
Na čo si dať pozor?
Nízky limit odreže záver alebo zatváracie značky, príliš vysoký umožní zbytočné opakovanie a nepredvídateľné náklady.