Presná definícia
Čo znamená vyrovnávacia pamäť promptu?
Vyrovnávacia pamäť promptu uchováva alebo znovu využíva výpočet spoločného prefixu kontextu, aby opakované požiadavky znížili latenciu a cenu. Typicky neukladá „odpoveď na otázku“, ale interné spracovanie identických úvodných tokenov. Zásah závisí od presnej zhody prefixu, modelu a pravidiel poskytovateľa.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Aplikácia umiestni stabilné pokyny a veľký spoločný dokument na začiatok, dynamickú otázku na koniec a sleduje cached tokens. Citlivé údaje sa do prefixu vkladajú len pri vhodnej izolácii a retenčných pravidlách. Zmena systémového promptu alebo modelu vedome invaliduje cache a výsledok sa stále nanovo generuje.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje vyrovnávacia pamäť promptu?
Server identifikuje zhodný tokenový prefix a opätovne použije jeho výpočtové medzistavy namiesto plného prepočtu.
Kedy má vyrovnávacia pamäť promptu praktický význam?
Aplikácia umiestni stabilné pokyny a veľký spoločný dokument na začiatok, dynamickú otázku na koniec a sleduje cached tokens.
S čím si pojem nezamieňať?
Response cache vracia predtým uložený hotový výsledok; prompt cache znovu používa spracovanie vstupného prefixu.
Ako sa výsledok kontroluje?
Meria sa hit rate, počet cached tokenov, latencia, cena, izolácia tenantov a správna invalidácia verzií.
Na čo si dať pozor?
Nesprávny kľúč môže miešať kontexty, časté zmeny znížia zásahy a spoliehanie sa na cache môže skryť nákladový nárast.