Presná definícia
Čo znamená kontextové okno?
Kontextové okno je maximálny tokenový priestor, ktorý model v jednom výpočtovom priebehu zohľadňuje: systémové pokyny, používateľský vstup, vložené dokumenty, históriu a podľa rozhrania aj rezervu na výstup. Je to technický limit pozornosti alebo správy, nie záruka, že model rovnako dobre využije informáciu na každej pozícii.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Pri aplikácii sa rozpočet rozdelí medzi pokyny, získané pasáže, históriu a odpoveď. Dlhé dokumenty sa vyhľadávajú alebo členia podľa významu a testuje sa otázka na začiatku, v strede aj na konci. Prevádzka sleduje tiché skracovanie, náklady a to, či bezpečnostné pokyny nezaniknú v nadbytočnom kontexte.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje kontextové okno?
Tokenizovaný vstup sa oreže alebo zmestí do maximálnej dĺžky a transformer vypočíta pozornosť iba medzi pozíciami prítomnými v tomto okne.
Kedy má kontextové okno praktický význam?
Pri aplikácii sa rozpočet rozdelí medzi pokyny, získané pasáže, históriu a odpoveď.
S čím si pojem nezamieňať?
Dĺžka kontextu je konkrétny počet použitých alebo podporovaných tokenov; kontextové okno označuje kapacitu a hranice dostupného kontextu.
Ako sa výsledok kontroluje?
Kontroluje sa presné počítanie tokenov, úspech vyhľadania faktu podľa pozície, kvalita pri rastúcej dĺžke a správanie pri prekročení limitu.
Na čo si dať pozor?
Viac tokenov môže zvýšiť cenu a zriediť relevantný signál; model môže ignorovať stred kontextu alebo nesprávne uprednostniť rušivé pokyny.