Presná definícia
Čo znamená Kontextové vyrovnávanie pamäte?
Kontextové vyrovnávanie pamäte (Context / Prompt Caching) je technológia ukladania spracovaných výpočtových stavov pozornosti (KV cache) pre opakovane používané dlhé texty alebo multimodálne vstupy priamo v pamäti VRAM/RAM na strane servera. Pri opätovnom dopyte nad rovnakým kontextom model nemusí znova spracovávať celé vstupné okno, ale načíta predpočítané reprezentácie.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Využíva sa pri vývoji RAG systémov nad rozsiahlymi kódovými bázami, právnymi archívmi či knižnicami a pri použití agentných systémov s dlhými systémovými inštrukciami, kde zásadne znižuje finančné náklady a čas odpovede (latenciu).
Overiteľnosť
Odborné zdroje
Anthropic (2024). Prompt Caching in Claude: Architecture and API Integration. Anthropic Developer Documentation.
Google Cloud (2024). Context Caching with Gemini API: Optimizing Long-Context Latency and Costs. Google AI Documentation.
Praktické odpovede
Často kladené otázky
O koľko dokáže Context Caching znížiť náklady a latenciu pri volaní API?
Pri opakovaných dopytoch nad rovnakým dlhým kontextom znižuje cenu za vstupné tokeny zvyčajne o 50 až 90 % a skracuje čas spracovania (Time-to-First-Token) až o 80 %.
Aký dlhý musí byť kontext, aby sa oplatilo vyrovnávanie pamäte použiť?
Poskytovatelia API (ako Anthropic, Google či OpenAI) nastavujú minimálnu hranicu pre caching spravidla od 1 024 až 32 768 tokenov.
Mení Context Caching presnosť alebo determinizmus odpovedí?
Nie, výstup modelu je matematicky identický, ako keby bol celý kontext spracovaný od znova.
Ako dlho zostáva vyrovnaný kontext uložený na serveri?
Väčšina služieb udržiava kešovanú pamäť aktívnu niekoľko minút od posledného požiadavky (napr. 5 - 10 minút), pričom každým novým dopytom sa časovač obnovuje.
Vyžaduje Context Caching zmenu v kódovaní aplikácie?
Pripájajú sa explicitné hlavičky alebo značky v API dopyte, ktoré určujú, ktorá časť promptu má byť označená na uloženie do keše.