Presná definícia
Čo znamená únik promptu?
Únik promptu je nežiaduce odhalenie systémových pokynov, skrytých šablón, príkladov alebo iného interného kontextu vo výstupe či cez odvodené správanie. Prompt sa preto nemá považovať za bezpečné miesto pre heslá, osobné údaje alebo tajné kľúče. Ochrana obsahu a ochrana funkcie systému sú odlišné ciele.
Skúsenosť a kontext
Ako sa pojem používa v praxi
Prevádzkovateľ odstráni tajomstvá zo všetkých promptov, minimalizuje interné údaje a citlivé pravidlá vynucuje v kóde. Testy žiadajú priame zopakovanie, preklad aj fragmenty bez uchovávania citlivého cieľa. Incident sa rieši rotáciou skutočných kľúčov, revíziou logov a zmenou architektúry, nie iba novou zakazujúcou vetou.
Overiteľnosť
Odborné zdroje
Praktické odpovede
Často kladené otázky
Ako funguje únik promptu?
Model môže reprodukovať časti dostupného kontextu, najmä keď ho vstup navádza na citovanie, transformáciu alebo postupné odhaľovanie.
Kedy má únik promptu praktický význam?
Prevádzkovateľ odstráni tajomstvá zo všetkých promptov, minimalizuje interné údaje a citlivé pravidlá vynucuje v kóde.
S čím si pojem nezamieňať?
Prompt injection je spôsob ovplyvnenia správania; prompt leakage je konkrétny dôsledok - odhalenie interného kontextu.
Ako sa výsledok kontroluje?
Použijú sa canary reťazce, red-team transformácie, kontrola logov, minimalizácia údajov a overenie, že odpoveď neobsahuje tajomstvá.
Na čo si dať pozor?
Presné pokyny možno odhadnúť aj nepriamo a ich utajenie nezastaví útok, ak má systém priveľké oprávnenia.