Presná definícia
Čo znamená dĺžka kontextu?
Dĺžka kontextu je počet tokenových pozícií, ktoré model pre daný vstup alebo architektúru spracúva ako dostupný kontext. Môže označovať aktuálnu dĺžku promptu alebo deklarované maximum; preto treba uviesť, či zahŕňa výstupné tokeny a cache. Počet znakov ani slov nie je spoľahlivá náhrada, lebo závisí od tokenizéra.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Používa sa pri plánovaní chunkov, pamäte, latencie a rozpočtu API. Aplikácia spočíta tokeny presným tokenizérom ešte pred volaním a ponechá rezervu na odpoveď. Testy postupne zväčšujú vstup a sledujú kvalitu, nie iba prijatie požiadavky, pretože využiteľná dĺžka môže byť menšia než technický limit.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje dĺžka kontextu?
Každému tokenu sa priradí pozícia a výpočet sa uskutoční nad prvými L pozíciami; náklady pozornosti a cache rastú s L.
Kedy má dĺžka kontextu praktický význam?
Používa sa pri plánovaní chunkov, pamäte, latencie a rozpočtu API.
S čím si pojem nezamieňať?
Dĺžka sekvencie je všeobecný rozmer ľubovoľnej tokenovej dávky; dĺžka kontextu zdôrazňuje informácie dostupné modelu pre predikciu.
Ako sa výsledok kontroluje?
Meria sa počet tokenov po všetkých obaloch správy, využitie pamäte, latencia a presnosť úloh pri rôznych L a pozíciách dôkazu.
Na čo si dať pozor?
Deklarované maximum môže zahŕňať spoločný vstupno-výstupný limit; prekročenie vedie k chybe alebo orezaniu, ktoré môže odstrániť dôležitú časť.