Promptovanie

správa kontextu

Anglický výraz context management

špecializovanéheslo č. 5915 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená správa kontextu?

Správa kontextu je riadenie toho, ktoré pokyny, správy, dokumenty, výsledky nástrojov a pamäťové záznamy sa dostanú do modelového okna, v akom poradí a s akou autoritou. Zahŕňa výber, kompresiu, izoláciu, provenance a expiráciu. Cieľom nie je zaplniť okno, ale dodať správne informácie.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Agent rezervuje rozpočet pre systémové pravidlá, aktuálnu úlohu a výsledky nástrojov, staršie dáta sumarizuje a nedôveryhodné zdroje označí. Osobné údaje sa uchovávajú iba podľa účelu a doby. Testy zahŕňajú dlhé rozhovory, konfliktné dokumenty, opravy používateľa a informáciu umiestnenú uprostred kontextu.

Overiteľnosť

Odborné zdroje

  1. Lost in the Middle: How Language Models Use Long Contextsaclanthology.org
  2. OpenAI Model Spec - chain of commandmodel-spec.openai.com

Praktické odpovede

Často kladené otázky

Ako funguje správa kontextu?

Orchestrátor zostaví kontext podľa priorít, tokenového limitu, relevancie, pôvodu a pravidiel životného cyklu.

Kedy má správa kontextu praktický význam?

Agent rezervuje rozpočet pre systémové pravidlá, aktuálnu úlohu a výsledky nástrojov, staršie dáta sumarizuje a nedôveryhodné zdroje označí.

S čím si pojem nezamieňať?

Kompresia kontext skracuje; context management zahŕňa aj získanie, poradie, autoritu, pamäť a odstránenie.

Ako sa výsledok kontroluje?

Sleduje sa task success, využitie tokenov, strata kľúčových faktov, citácie, súkromie a odolnosť voči injection.

Na čo si dať pozor?

Nadbytočný alebo zle zoradený kontext znižuje pozornosť k dôležitým údajom a môže preniesť zastarané pokyny.