Presná definícia
Čo znamená prompt vo vyrovnávacej pamäti?
Prompt vo vyrovnávacej pamäti je konkrétny tokenový prefix, ktorého výpočtové medzistavy môže poskytovateľ opätovne použiť pri ďalšej požiadavke. Nejde o trvalú pamäť modelu ani o naučenie obsahu. Stav býva časovo, modelovo a účtovo viazaný a môže bez upozornenia prestať byť zásahom.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Dlhá príručka a systémové pokyny sa vložia ako stabilný prefix a každá otázka až za ne. Telemetria označí, koľko tokenov sa skutočne použilo z cache; aplikácia musí fungovať rovnako aj pri miss. Prístupové práva sa kontrolujú pri každej požiadavke, nie iba pri prvom vytvorení prefixu.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje prompt vo vyrovnávacej pamäti?
Presne zhodná úvodná tokenová sekvencia odkazuje na dočasne uložené aktivácie pre daný model a konfiguráciu.
Kedy má prompt vo vyrovnávacej pamäti praktický význam?
Dlhá príručka a systémové pokyny sa vložia ako stabilný prefix a každá otázka až za ne.
S čím si pojem nezamieňať?
Prompt cache je mechanizmus; cached prompt je konkrétny prefix alebo jeho záznam, ktorý mechanizmus dokáže znovu použiť.
Ako sa výsledok kontroluje?
Overuje sa zhoda odpovedí pri hit/miss, izolácia, expirácia, invalidácia a telemetria cached tokenov.
Na čo si dať pozor?
Malá zmena tokenu spôsobí miss a cache sa nesmie považovať za úložisko, zálohu ani mechanizmus autorizácie.