Ako jazykové modely generujú odpovede: od promptu po posledný token

LLM nenačíta hotovú vetu z databázy. Opakovane vypočítava distribúciu ďalšieho tokenu; výsledok preto ovplyvňuje každý skorší token, decoding, zostavený kontext aj nástroje okolitej aplikácie.

Keď chatbot vypíše vetu plynulo po slovách, môže pôsobiť, akoby si odpoveď najprv celú premyslel a potom ju iba prepísal. Základný mechanizmus je iný: model opakovane vypočítava pravdepodobnosti ďalšieho tokenu, jeden vyberie, pridá ho ku kontextu a proces zopakuje. Používateľ vidí svoju otázku, no model často dostane širší balík. Môže obsahovať systémovú inštrukciu, pravidlá produktu, históriu rozhovoru, používateľské preferencie, relevantné dokumenty, výsledky nástrojov a požadovaný formát odpovede. Poradie a hranice správ sú dôležité. Systémové pravidlo má mať vyššiu prioritu než text používateľa, ale dokument vložený do promptu môže obsahovať vetu tváriacu sa ako inštrukcia. Bez správnej izolácie vzniká prompt injection. Model totiž dostáva dôveryhodný pokyn aj nedôveryhodné dáta v podobnej textovej reprezentácii. Pred odoslaním sa vstup niekedy skráti, zhrnie alebo doplní retrievalom. Preto dve aplikácie používajúce rovnaký model môžu odpovedať zásadne odlišne. Tokenizer rozdelí text na tokeny a priradí im celočíselné identifikátory. Token môže byť slovo, časť slova, medzera, interpunkcia alebo fragment kódu. Presné delenie závisí od slovníka modelu.

Ťažisko tvoria časti „Krok 1: aplikácia zostaví skutočný vstup“, „Krok 2: tokenizer zmení text na identifikátory“ a „Krok 3: embeddingy preložia ID do vektorov“. Nejde iba o vysvetlenie pojmov. Kapitola ich prepája s rozhodnutiami, príkladmi a hranicami, ktoré treba poznať pri reálnom použití.

Po prečítaní budete vedieť popísať cestu od promptu cez transformer k ďalšiemu tokenu a vysvetliť vplyv temperature, top-p a opakovaného generovania. Praktickým výsledkom bude schopnosť odlíšiť návrh tool callu od bezpečného vykonania akcie.

Kapitola odpovedá aj na otázku „Generuje model odpoveď celú naraz?“ Nie. Autoregresívny model vyberá ďalší token, pridá ho ku kontextu a proces opakuje až po stop podmienku alebo limit.