Kontextové okno

Kontextové okno je pracovný priestor modelu pre aktuálnu požiadavku. Nejde o ľudskú pamäť a jeho veľkosť sama osebe nezaručuje, že model použije každú vloženú informáciu správne.

Keď používateľ vloží do chatbota otázku, zmluvu, staršiu konverzáciu a tabuľku, model nepracuje s každým prvkom oddelene. Aplikácia z nich vytvorí vstupnú sekvenciu tokenov. Táto sekvencia je dočasným pracovným prostredím, v ktorom model interpretuje pokyny a vypočítava ďalšie tokeny odpovede. Jej maximálny rozsah sa označuje ako context window, po slovensky kontextové okno. Okno je jednou z najviditeľnejších technických vlastností moderných LLM. Umožňuje analyzovať celé reporty, dlhšie úseky kódu, viac dokumentov či rozsiahlu konverzáciu. Zároveň patrí k najčastejšie nesprávne interpretovaným parametrom. Údaj „128K“ alebo „1M tokenov“ neznamená, že model všetko v takom vstupe chápe ako odborník, že si obsah uloží natrvalo ani že dokáže rovnako presne pracovať s každou pozíciou. V kapitole 1 - Čo je Large Language Model sme rozlíšili model od aplikácie a v kapitole 2 - Tokeny a ich význam sme vysvetlili tokenizáciu. Teraz tieto základy spojíme s attention, pozičnou informáciou, pamäťou pri inferencii a prácou s dlhými vstupmi.

Ťažisko tvoria časti „Čo je kontext v jednom volaní modelu“, „Kontextové okno, dĺžka vstupu a výstupný limit“ a „Tokeny nie sú slová ani strany“. Nejde iba o vysvetlenie pojmov. Kapitola ich prepája s rozhodnutiami, príkladmi a hranicami, ktoré treba poznať pri reálnom použití.

Po prečítaní budete vedieť rozlíšiť kontextové okno, parametre modelu a externú pamäť a navrhnúť poradie a štruktúru dlhého vstupu. Praktickým výsledkom bude schopnosť testovať stratu informácií v rozsiahlych dokumentoch.

Kapitola odpovedá aj na otázku „Čo sa počíta do kontextového okna?“ Systémové inštrukcie, história rozhovoru, vložené dokumenty, aktuálna otázka, výsledky nástrojov a často aj pripravovaná odpoveď.